Historique des pannes de Whaller

1. 19 août 2026 à 08:02 UTCresolved

   A la suite d'une mise en production, les moteurs de recherche et annuels ne sont plus accessibles sur la plateforme. Nous avons identifié le problème et le corrigons au plus vite. --- Après un passage, les moteurs de recherche et les répertoires ne sont plus accessibles sur la plateforme. Nous avons identifié la question et nous y remédions le plus rapidement possible.

2. 19 août 2026 à 08:09 UTCpostmortem

   # Postmortem — Indisponibilité des résultats de recherche Résumé Le 17 août 2026, entre 15 h 36 et 17 h 15 CEST, un incident a affecté le service de recherche et certaines fonctions d'analyse. Durant cette période, les demandes adressées au moteur de recherche actuel et les interfaces concernées ne retournent aucun résultat. Il y a un problème à la suite de signaux du client. Les équipes techniques ont identifié une incompatibilité introduite lors de la mise à jour d'une dépendance logique, peut déployer une correction. Le service a été entierement rétabli à 17 h 15 CEST. Chronologie des événements * **17 août 2026 à 15 h 36 CEST** : début de l'incident. Les demandes adressées au moteur de recherche commencent à échouer. * **À partir de 15 h 36 CEST** : absence de résultats visible dans les interfaces concernées et fait l'objet de signaux du client. * **16 h 26 CEST** : les équipes techniques avant en charge l'incident et lancent les investigations. * **17 h 08 CEST** : les équipes techniques déploient une première correction. * **17 h 13 CEST** : le déploiement est terminé et les tests confirment le rétablissement du fonctionnement attendu. * **17 h 15 CEST** : la correction est mise en production et l'incident est déclaré résolu. La durée totale de l'incident a été de **1 heure et 39 minutes**. ## Difficultés rencontrées L'incident résulte d'un effet indirect lié à l'évolution d'une dépendance partagée entre plusieurs composants logiques. La modification affectait pas directement la logique métier du moteur de recherche. Elle concerne une option technique de connexion devenu incompatible avec le client HTTP désormais utilisé. Cette incompatibilité a rendu l'origine de l'incident est identifiable. Par ailleurs, il s'agit d'un problème de sécurité grâce aux signaux du client et à l'absence visible de résultats dans les interfaces. Cause de l'incident Une mise à jour de dépenses a entraîné l'utilisation d'un nouveau client HTTP par le composant chargé de communiquer avec le moteur de recherche. Les composants de recherche et d'analyse lui transmettaient encore une option de délier de connexion propre à l'ancien client HTTP. Cette option n'était pas reconnue par le nouveau composant, les appels au moteur de recherche actuel système. La correction a consisté à remplacer cette option par son équivalent compatible avec le nouveau client HTTP. Ce changement ne modifie pas le comportement fonctionnel du service : il maintient uniquement la limite prévue pour l'établissement de la connexion au moteur de recherche. Perte de données Aucune perte ni altération de données n'est constatée. Pendant l'incident, les données sont restées enregistrées, mais les fonctions affectées ne sont pas durables plus de les revenir ou de les afficher correctement dans les résultats de recherche et d'analyse. Mesure de rémédiation Les équipes techniques ont mis en œuvre les actions suivantes : * correction de la possibilité de connexion utilisée par les composants de recherche et d'analyse ; * déploiement et validation de la correction sur les différents composants concernés ; * vérification du rétablissement des résultats de recherche après la mise en production. --- # Post-mortem — Résultats de la recherche non disponibles Résumé Le 17 août 2026, entre 15 h 36 et 17 h 15, un incident a affecté le service de recherche et certaines fonctions d'analyse. Au cours de cette période, les requêtes envoyées au moteur de recherche ont échoué et les interfaces concernées n'ont donné aucun résultat. L'incident a été détecté suite aux rapports du client. Les équipes techniques ont identifié une incompatibilité introduite lors de la mise à jour d'une dépendance logicielle et ont ensuite déployé une correction. Le service a été entièrement restauré à 17:15 CEST. Chronologie des événements * **17 août 2026 à 15 h 36 CEST** : début de l'incident. Les demandes envoyées au moteur de recherche ont commencé à échouer. * **À partir de 15:36 CEST**: l'absence de résultats est devenue apparente dans les interfaces touchées et a été signalée par les clients. * **16:26 CEST** : les équipes techniques ont pris en charge l'incident et commencé les enquêtes. * **17:08 CEST**: les équipes techniques déploient une première correction. * **17:13 CEST** : le déploiement est terminé et les tests confirment que le système fonctionne comme prévu. * **17:15 CEST** : la fixation est mise en production et l'incident est déclaré résolu. La durée totale de l'incident était de **1 heure et 39 minutes**. ## Défis rencontrés L'incident a résulté d'un effet indirect lié à un changement dans une dépendance partagée entre plusieurs composants logiciels. Le changement n'a pas affecté directement la logique commerciale du moteur de recherche. Elle concernait une option de connexion technique devenue incompatible avec le client HTTP actuellement utilisé. Cette incompatibilité a rendu la cause de l'incident moins immédiatement identifiable. En outre, l'incident a d'abord été détecté grâce aux rapports des utilisateurs et à l'absence visible de résultats dans les interfaces utilisateur. ## Cause de l'incident Une mise à jour aux dépendances a conduit au composant responsable de la communication avec le moteur de recherche en utilisant un nouveau client HTTP. Les composants de recherche et d'analyse lui passaient toujours une option de timeout de connexion spécifique à l'ancien client HTTP. Comme cette option n'a pas été reconnue par le nouveau composant, les appels au moteur de recherche ont toujours échoué. La correction implique de remplacer cette option par son équivalent, qui est compatible avec le nouveau client HTTP. Ce changement ne modifie pas le comportement fonctionnel du service: il maintient simplement la limite prévue pour établir la connexion au moteur de recherche. ## Perte de données Aucune perte de données ou corruption n'a été observée. Pendant l'incident, les données sont restées stockées, mais les fonctionnalités concernées n'ont plus pu les récupérer ou les afficher correctement dans les résultats de recherche et d'analyse. Mesures correctives Les équipes techniques ont mis en œuvre les actions suivantes: * correction de l'option de connexion utilisée par les composants de recherche et d'analyse; * déploiement et validation de la correction dans les différentes composantes concernées; * vérification que les résultats de la recherche ont été rétablis après le lancement de la production.

Traduit automatiquement depuis la mise à jour officielle de l'incident.

1. 9 juillet 2026 à 10:32 UTCinvestigating

   A la suite d'une opération de maintenance programmée qui était censée être invisible pour les utilisateurs, les moteurs de recherche et annuels ne sont plus accessibles sur la plateforme. Nous avons identifié le problème et le corrigons au plus vite. --- À la suite d'une opération de maintenance planifiée qui devait être invisible pour les utilisateurs, les moteurs de recherche et les répertoires ne sont plus accessibles sur la plateforme. Nous avons identifié le problème et le résolvons le plus rapidement possible.

2. 9 juillet 2026 à 10:36 UTCidentified

   Le problème a été identifié et une solution est en cours de mise en oeuvre.

3. 9 juillet 2026 à 12:35 UTCresolved

   L'incident est résolu. --- L'incident a été résolu.

4. 10 juillet 2026 à 08:41 UTCpostmortem

   # Post-mortem — Incident Elasticsearch du 9 juillet 2026 Résumé Le 9 juillet 2026, un incident de production a affecté le service Elasticsearch utilisé par les fonctions de recherche et d'analytique. L'incident a entraîné une indisponibilité partieelle du cluster Elasticsearch, avec un impact visible sur certaines fonctions dépendantes de la recherche, notamment l'affichage de l'annuaire dans les domaines et l'accès aux interfaces dédiées de monitoring ou de recherche. L'événement a été protégé à partir de remontées support et de constats techniques indiquant que le cluster n'était plus accessible sur les URLs mortes. Les équipes techniques sont impliquées pour diagnostiquer l'origine du problème, mettre à niveau le niveau concerné, refaire les services affectés et vérifier le retour à un état nominal. L'incident a été ouvert à 12h32 CEST sur la page de statut et classé à 14h35 CEST après avoir établi des serveurs. Chronologie des événements Le 9 juillet 2026, les événements suivants se sont produits : * **12h20 CEST** : les équipes techniques redemarrent l'un des neuds Elasticsearch. * **12h22 CEST** : les équipes techniques confirment un incident de production : Elasticsearch ne redémarre pas correctement. * **12h28 CEST** : l'analyse montre un écran de version entre les neuds du cluster. Deux neuds sont en version plus récente, tant que le neud redmarré, qui jouait le rôle de master, est dans une version antérieure. Les équipes techniques travaillent à sa mise à jour. * **12h32 CEST** : une page d'incident est publiée sur la page de statut. * ** 14h35 CEST** : les serveurs sont à nouveau fonctionnels. Les vérifications ont été réalisées, l'incident est considéré comme résolu et la page de statut est fermée. ## Difficultés rencontrées La principale difficile a été liée à la configuration particulière de la machine concernée. Cette machine hebergeait deux instances Elasticsearch distinctes correspondant à deux services différents. La remise en cohérence de la version Elasticsearch doit être réalisée avec précaution sur les deux instances, sans écraser les configurations, les données, les logs ou les sauvegardes propres à chaque service. Une autre difficulté a concerné le comportement du cluster au redémarrage. Le nœud concerné ne pouvait pas rejoindre le cluster, car sa version était inférieure à celle des autres nœuds déjà en fonctionnement. Les logs indiquaient explicitement qu'un neuud dans cette version ne pouvait pas rejoindre un cluster composé uniquement de neuuds dans une version plus récente. Cause de l'incident La cause de l'incident est un accident de version entre les neuds du cluster Elasticsearch. Le nœud redémarré était dans une version antérieure à celle des deux autres nœuds. Or, Elasticsearch ne permettait pas à ce nœud de rejoindre un cluster composé uniquement de nœuds dans une version plus récente. Le cluster est donc retravaillé dans un état non nominal après le redémarrage du neud concerné, ce qui a entraîné l'indisponibilité des services dépendants. La cause raciale n'est pas liée à une action individuelle, mais à un manuel de formalisation et de sécurisation de la procédure de mise à jour et de redémarrage du cluster Elasticsearch, en particulier dans un contexte d'installation spécifique avec plusieurs instances sur une même machine. Perte de données Aucune perte de données n'a été identifiée à la suite de cet incident. L'incident a concerné la disponibilité du service Elasticsearch et la capacité des neuds à fonctionner correctement ensemble au sein du cluster. Les données existentantes n'ont pas été remplacées ni altérées. Mesure de rémédiation Les équipes techniques ont procédé à la remise à niveau du niveau concerné afin d'aligner sa version Elasticsearch avec celle des autres nœuds du cluster. Les services Elasticsearch concernés ont ensuite été redémarrés progressif, avec vérification des versions installées, des plugins nécessaires et des logs de démarrage. Les équipes techniques ont également vérifié le retour à un état nominal depuis les interfaces de monitoring des clusters concernés. À la suite de cet incident, plusieurs actions de réédition sont prévues : * formaliser une procédure de mise à jour et de redémarrage du cluster Elasticsearch ; * documenter les études spécifiques applicables aux machines hébergeant plusieurs instances Elasticsearch ; * préciser la procédure d'installation ou de réinstallation des plugins nécessaires après mise à jour ; * Ajouter une étude de vérification explicite des versions avant de redémarrer d'un neuud ; * étudier la procédure de sortie propre d=un neuud du cluster afin de permettre l=élection d=un nouveau maître sans interruption ; * étudier une séparation plus forte des clusters, par exemple sur le progrès de machines, ainsi que les dépenses entre services et de limiter l'impact d'un incident similaire. Ces mesures permettent de réaliser le risque de réapparition d'un incident lié à un événement de version entre nœuds Elasticsearch et d'améliorer la résilience des opérations de maintenance. --- # Post mortem — Elasticsearch incident du 9 juillet 2026 Résumé Le 9 juillet 2026, un incident de production a affecté le service Elasticsearch utilisé par les fonctions de recherche et d'analyse. L'incident a entraîné l'indisponibilité partielle du cluster Elasticsearch, avec un impact notable sur certaines fonctionnalités dépendantes de la recherche, notamment l'affichage du répertoire dans les sphères et l'accès à des interfaces de surveillance et de recherche dédiées. L'incident a été détecté à la suite de rapports d'appui et de constatations techniques indiquant que le groupe n'était plus accessible via les URL dédiées. Les équipes techniques sont intervenues pour diagnostiquer la cause du problème, mettre à niveau le nœud touché, redémarrer les services touchés et vérifier que le système était revenu à un fonctionnement normal. L'incident a été enregistré à 12h32 CEST sur la page d'état et fermé à 14h35 CEST une fois les serveurs restaurés. Chronologie des événements Le 9 juillet 2026, les événements suivants se sont produits : * **12.20 CEST** : les équipes techniques ont redémarré l'un des nœuds Elasticsearch. * **12.22 CEST** : les équipes techniques ont confirmé un incident de production : Elasticsearch ne redémarrait pas correctement. * **12.28 CEST** : l'analyse a révélé une différence de version entre les nœuds du cluster. Deux nœuds ont lancé une version plus récente, tandis que le nœud redémarré, qui agissait comme le maître, a lancé une version plus ancienne. Les équipes techniques ont ensuite procédé à sa mise à jour. * **12.32 CEST** : un avis d'incident a été publié sur la page d'état. * **14:35 CEST**: Les serveurs sont de nouveau opérationnels. Comme les vérifications ont été concluantes, l'incident est considéré résolu et la page d'état est fermée. ## Défis rencontrés Le principal défi était lié à la configuration spécifique de la machine en question. Cette machine a hébergé deux instances Elasticsearch distinctes correspondant à deux services différents. Le processus de synchronisation de la version Elasticsearch a donc dû être effectué avec soin dans les deux cas, sans écraser les configurations, données, journaux ou sauvegardes spécifiques à chaque service. Une autre difficulté concernait le comportement du groupe au redémarrage. Le nœud en question n'a pas pu rejoindre le cluster parce que sa version était plus ancienne que celle des autres nœuds déjà en service. Les journaux indiquent explicitement qu'un nœud exécutant cette version ne peut pas rejoindre un cluster composé uniquement de nœuds exécutant une version plus récente. ## Cause de l'incident La cause de l'incident était une divergence de version entre les nœuds du cluster Elasticsearch. Le nœud redémarré était une version plus ancienne que les deux autres nœuds. Cependant, Elasticsearch n'a pas permis à ce noeud de rejoindre un cluster composé uniquement de nœuds exécutant une version plus récente. Le groupe s'est donc retrouvé dans un état non nominatif après le redémarrage du nœud touché, ce qui a entraîné l'indisponibilité des services dépendants. La cause fondamentale n'est liée à aucune action individuelle, mais à l'absence de mesures de formalisation et de sécurité dans la procédure de mise à jour et de redémarrage du cluster Elasticsearch, en particulier dans le contexte d'une installation spécifique avec plusieurs instances sur la même machine. ## Perte de données Aucune perte de données n'a été identifiée à la suite de cet incident. L'incident a affecté la disponibilité du service Elasticsearch et la capacité des nœuds à fonctionner correctement ensemble au sein du cluster. Les données existantes n'ont été ni supprimées ni modifiées. Mesures correctives Les équipes techniques ont mis à niveau le noeud affecté pour aligner sa version Elasticsearch sur celle des autres nœuds du cluster. Les services Elasticsearch concernés ont ensuite été redémarrés progressivement, tout en vérifiant les versions installées, les plugins nécessaires et les journaux de démarrage. Les équipes techniques ont également vérifié que le système était revenu à un fonctionnement normal par le biais des interfaces de surveillance des groupes touchés. Suite à cet incident, plusieurs mesures correctives sont prévues : * formaliser une procédure de mise à jour et de redémarrage du cluster Elasticsearch; * documenter les étapes spécifiques applicables aux machines qui hébergent plusieurs instances Elasticsearch; * clarifier la procédure d'installation ou de réinstallation des plugins nécessaires après une mise à jour; * ajouter une étape de vérification de version explicite avant de redémarrer un noeud; * revoir la procédure pour retirer gracieusement un noeud du cluster afin de permettre l'élection d'un nouveau maître sans interruption; * examiner la possibilité d'une plus grande ségrégation des grappes, par exemple dans un plus grand nombre de machines, afin de réduire la dépendance entre les services et de limiter l'impact d'un incident similaire. Ces mesures devraient contribuer à réduire le risque de récurrence d'un incident lié à un écart de version entre les nœuds Elasticsearch et améliorer la résilience des opérations de maintenance.

Traduit automatiquement depuis la mise à jour officielle de l'incident.

1. 7 juillet 2026 à 15:41 UTCinvestigating

   Certains utilisateurs rencontrent des déconnexions intempestives de leur compte. Nous investiguons le problème. --- Some users are experiencing unexpected logouts from their accounts. We are investigating the issue.

2. 7 juillet 2026 à 16:17 UTCmonitoring

   Le problème a été identifié, c'est dû à une mise à jour d'une librairie interne. Nous sommes revenus en arrière et la plateforme semble être revenue à la normale. --- The problem has been identified; it was caused by an update to an internal library. We have rolled back the update and the platform appears to be back to normal.

3. 7 juillet 2026 à 18:02 UTCresolved

   This incident has been resolved.

4. 8 juillet 2026 à 07:41 UTCpostmortem

   # Post-mortem — Déconnexions intempestives sur la plateforme ## Résumé Le 7 juillet 2026, la plateforme Whaller a rencontré un incident de production provoquant des déconnexions intempestives de certains utilisateurs. Le symptôme observé était le suivant : après authentification, l’interface semblait charger normalement, puis l’utilisateur était renvoyé vers la page de connexion. L’incident a été traité en priorité critique par les équipes techniques. Après investigation et déploiement d’un correctif, le service est revenu à un fonctionnement normal. ## Chronologie des événements Le 7 juillet 2026, en fin d’après-midi, les équipes techniques constatent un premier cas de déconnexion forcée après authentification. Peu après, un client confirme un comportement similaire : tentative de connexion, chargement de l’interface, puis retour automatique vers la page de connexion. Une première analyse oriente les investigations vers une évolution applicative récemment mise en production. Un correctif est préparé et déployé afin de revenir en arrière sur cette évolution. Un premier correctif est mis en production, sans résoudre complètement la situation. Les équipes techniques poursuivent alors l’analyse et identifient plus précisément le composant applicatif à l’origine du problème. Un second correctif est ensuite déployé. Après cette mise en production, les déconnexions intempestives ne sont plus constatées. ## Difficultés rencontrées L’incident a présenté plusieurs difficultés d’analyse. Le symptôme visible côté utilisateur était simple à décrire, mais sa cause pouvait provenir de plusieurs couches techniques différentes : gestion des sessions, évolution applicative récente, traitement de maintenance ou infrastructure de base de données. Les équipes techniques ont donc dû investiguer plusieurs pistes en parallèle avant d’isoler la cause réelle. Enfin, un premier correctif a été déployé sur la base de l’hypothèse la plus probable à ce moment-là, mais cette correction n’a pas suffi à résoudre durablement l’incident. Un second correctif a été nécessaire après identification plus précise du composant concerné. ## Cause de l’incident L’incident a été causé par une régression introduite dans une mise à jour récente d’un composant applicatif lié aux discussions. Cette régression provoquait, dans certaines conditions, une instabilité de la session utilisateur après authentification. L’utilisateur pouvait donc réussir à se connecter, puis être immédiatement renvoyé vers la page de connexion. ## Perte de données Aucune perte de données n’a été identifiée. L’incident a affecté l’accès à la plateforme et la stabilité des sessions utilisateur, mais il n’a pas entraîné de suppression, d’altération ou de corruption de données. ## Mesures de remédiation Les équipes techniques ont déployé un correctif permettant de revenir à une version stable du composant applicatif concerné. À la suite de cet incident, les mesures suivantes sont engagées : * analyse détaillée du composant applicatif concerné afin d’identifier précisément le changement ayant provoqué la régression ; * surveillance renforcée après déploiement des correctifs liés à l’authentification, aux discussions et aux mécanismes de reconnexion. Les équipes techniques restent mobilisées afin de prévenir la réapparition de ce type d’incident. --- # Post-mortem — Unexpected logouts on the platform ## Summary On 7 July 2026, the Whaller platform experienced a production incident causing some users to be unexpectedly logged out. The symptom observed was as follows: after logging in, the interface appeared to load normally, but the user was then redirected back to the login page. The incident was treated as a critical priority by the technical teams. Following an investigation and the deployment of a fix, the service returned to normal operation. ## Timeline of events On 7 July 2026, in the late afternoon, the technical teams noted the first instance of a forced logout following authentication. Shortly afterwards, a customer confirmed similar behaviour: an attempt to log in, the interface loading, then an automatic return to the login page. An initial analysis pointed the investigation towards an application update that had recently been put into production. A patch was prepared and deployed to roll back this update. An initial patch was put into production, but this did not fully resolve the issue. The technical teams then continued their analysis and identified more precisely the application component causing the problem. A second patch was then deployed. Following this deployment, the unexpected logouts were no longer observed. ## Challenges encountered The incident presented several challenges for analysis. The symptom visible to the user was simple to describe, but its cause could have stemmed from several different technical layers: session management, a recent application update, maintenance operations or the database infrastructure. The technical teams therefore had to investigate several lines of inquiry in parallel before isolating the actual cause. Finally, an initial fix was deployed based on the most likely hypothesis at that time, but this fix was not sufficient to resolve the incident permanently. A second fix was required following a more precise identification of the component concerned. ## Cause of the incident The incident was caused by a regression introduced in a recent update to an application component related to chat functionality. Under certain conditions, this regression caused user sessions to become unstable after authentication. As a result, users could successfully log in, only to be immediately redirected back to the login page. ## Data loss No data loss was identified. The incident affected access to the platform and the stability of user sessions, but did not result in any data being deleted, altered or corrupted. ## Remedial measures The technical teams deployed a patch to revert to a stable version of the affected application component. Following this incident, the following measures have been implemented: * a detailed analysis of the affected application component to precisely identify the change that caused the regression; * enhanced monitoring following the deployment of patches relating to authentication, chat and reconnection mechanisms. The technical teams remain on high alert to prevent this type of incident from recurring.

1. 23 juin 2026 à 12:25 UTCinvestigating

   We are currently investigating this issue.

2. 23 juin 2026 à 12:25 UTCinvestigating

   We are continuing to investigate this issue.

3. 23 juin 2026 à 20:44 UTCresolved

   Nous avons identifié et corrigé le problème. La plateforme est de nouveau accessible. Nous produirons un post mortem dans les heures suivantes. We have identified and resolved the issue. The platform is now accessible again. We will be publishing a post-mortem in the next few hours.

4. 23 juin 2026 à 21:34 UTCpostmortem

   # Post-mortem — Incident de production du 23 juin 2026 ## Résumé Le 23 juin 2026, un incident de production a rendu la plateforme principale ainsi que les accès associés indisponibles pour les utilisateurs. L’incident a été détecté à la suite d’alertes de supervision indiquant une indisponibilité des services. Les équipes techniques ont immédiatement engagé les premières actions de diagnostic et de redémarrage sur les composants applicatifs et d’infrastructure concernés. L’analyse a montré que le mécanisme de vérification de disponibilité du répartiteur de charge ne parvenait plus à valider correctement les frontaux applicatifs. Ceux-ci répondaient avec un code HTTP 403 aux requêtes de contrôle, ce qui les faisait considérer comme indisponibles, entraînant l’interruption du service. Le service a été rétabli après ajustement temporaire de la validation côté infrastructure, puis correction de la cause ayant entraîné ces réponses 403. ## Chronologie des événements Le 23 juin 2026 en début d’après-midi, les alertes de supervision ont signalé l’indisponibilité de la plateforme principale et des accès associés. Les équipes techniques ont procédé aux premières vérifications et redémarrages des composants applicatifs concernés, notamment les services web et certains serveurs frontaux. Un ticket prioritaire a été ouvert auprès de notre fournisseur d’infrastructure afin d’analyser le comportement du répartiteur de charge et des composants réseau associés. Les investigations ont ensuite porté sur l’état des pools HTTPS du répartiteur de charge, les composants d’infrastructure réseau, les serveurs frontaux et les journaux applicatifs. En fin de journée, une cellule de crise a été ouverte avec le fournisseur d’infrastructure afin d’accélérer l’analyse. Les vérifications croisées ont permis d’identifier que les requêtes de contrôle de disponibilité recevaient des réponses HTTP 403, ce qui empêchait le répartiteur de charge de considérer les frontaux comme disponibles. Une mesure temporaire a été appliquée sur la configuration du répartiteur de charge afin de rétablir le service. Après rétablissement, les équipes techniques ont poursuivi l’analyse et confirmé qu’une adresse interne utilisée pour les contrôles de disponibilité avait été bloquée. Le blocage a été levé, les réponses attendues sont redevenues conformes, puis la mesure temporaire a été supprimée. ## Difficultés rencontrées L’identification de la cause a été rendue difficile par le fait que plusieurs couches techniques pouvaient être en cause : serveurs applicatifs, configuration web, répartiteur de charge, composants réseau et infrastructure d’hébergement. Les premiers symptômes laissaient penser à un dysfonctionnement du répartiteur de charge ou de la couche réseau, car les frontaux étaient considérés comme indisponibles alors que certains services applicatifs continuaient à répondre localement. La corrélation entre le blocage d’une adresse interne et l’incident n’a été établie que tardivement, après recoupement des journaux applicatifs et des contrôles effectués pendant la cellule de crise. L’analyse a également nécessité l’intervention de plusieurs niveaux de support côté fournisseur d’infrastructure, ce qui a rallongé le temps de diagnostic. ## Cause de l’incident La cause de l’incident est le blocage d’une adresse interne utilisée par le mécanisme de contrôle de disponibilité du répartiteur de charge. À la suite de ce blocage, les requêtes de contrôle adressées aux serveurs frontaux recevaient des réponses HTTP 403 au lieu des réponses attendues. Le répartiteur de charge a alors considéré les frontaux comme indisponibles et n’a plus correctement distribué le trafic vers les services applicatifs. Cette situation a entraîné l’indisponibilité de la plateforme pour les utilisateurs. ## Perte de données Aucune perte de données n’a été constatée. L’incident a concerné l’accessibilité au service, mais n’a pas affecté l’intégrité des données stockées. ## Mesures de remédiation Les équipes techniques ont levé le blocage de l’adresse interne utilisée par les contrôles de disponibilité. Les équipes techniques ont vérifié le retour à un comportement nominal des serveurs frontaux et du répartiteur de charge. Les équipes techniques ont supprimé la mesure temporaire appliquée pendant l’incident une fois la cause corrigée. Les équipes techniques vont renforcer la supervision des contrôles de disponibilité afin de détecter plus rapidement les cas où un composant est considéré indisponible à cause d’un rejet applicatif ou réseau. Les équipes techniques vont revoir les règles de filtrage internes afin de mieux identifier les adresses techniques nécessaires au bon fonctionnement de l’infrastructure. Les équipes techniques vont documenter plus précisément les dépendances entre les contrôles de disponibilité, les serveurs frontaux et les règles de sécurité internes, afin de réduire le temps de diagnostic en cas d’incident similaire. Les équipes techniques vont améliorer les procédures d’escalade et de diagnostic avec le fournisseur d’infrastructure afin d’accélérer l’analyse lorsque plusieurs couches techniques sont susceptibles d’être impliquées. --- # Post-mortem — Production incident of 23 June 2026 ## Summary On 23 June 2026, a production incident rendered the main platform and associated access points unavailable to users. The incident was detected following monitoring alerts indicating that services were unavailable. The technical teams immediately began initial diagnostic checks and restarted the affected application and infrastructure components. Analysis revealed that the load balancer’s availability check mechanism was no longer able to correctly validate the application front-ends. These were responding to check requests with an HTTP 403 code, which caused them to be treated as unavailable, resulting in the service interruption. The service was restored following a temporary adjustment to the infrastructure-side validation, followed by the correction of the cause leading to these 403 responses. ## Timeline of events In the early afternoon of 23 June 2026, monitoring alerts indicated that the main platform and associated access points were unavailable. The technical teams carried out initial checks and restarted the affected application components, notably the web services and certain front-end servers. A high-priority ticket was raised with our infrastructure provider to analyse the behaviour of the load balancer and associated network components. Investigations then focused on the status of the load balancer’s HTTPS pools, the network infrastructure components, the front-end servers and the application logs. At the end of the day, a crisis task force was set up with the infrastructure provider to speed up the analysis. Cross-checks revealed that availability check requests were receiving HTTP 403 responses, which prevented the load balancer from recognising the front-end servers as available. A temporary fix was applied to the load balancer’s configuration to restore the service. Once service had been restored, the technical teams continued their analysis and confirmed that an internal address used for availability checks had been blocked. The block was lifted, the expected responses returned to normal, and the temporary fix was then removed. ## Challenges encountered Identifying the cause was made difficult by the fact that several technical layers could have been involved: application servers, web configuration, load balancer, network components and hosting infrastructure. The initial symptoms suggested a malfunction in the load balancer or the network layer, as the front-end servers were considered unavailable whilst some application services continued to respond locally. The link between the blocking of an internal address and the incident was only established at a late stage, after cross-referencing application logs and checks carried out during the crisis response. The analysis also required the involvement of several levels of support from the infrastructure provider, which prolonged the diagnosis time. ## Cause of the incident The cause of the incident was the blocking of an internal address used by the load balancer’s availability monitoring mechanism. As a result of this blocking, monitoring requests sent to the front-end servers received HTTP 403 responses instead of the expected responses. The load balancer then deemed the front-end servers to be unavailable and ceased to distribute traffic correctly to the application services. This situation resulted in the platform being unavailable to users. ## Data loss No data loss was observed. The incident affected access to the service but did not affect the integrity of the stored data. ## Remedial measures The technical teams unblocked the internal address used by the availability checks. The technical teams verified that the front-end servers and the load balancer had returned to normal operation. The technical teams removed the temporary measure applied during the incident once the cause had been rectified. The technical teams will strengthen the monitoring of availability checks in order to detect more quickly instances where a component is deemed unavailable due to an application or network rejection. The technical teams will review the internal filtering rules in order to better identify the technical addresses necessary for the infrastructure to function correctly. The technical teams will document the dependencies between availability checks, front-end servers and internal security rules in greater detail, in order to reduce the time taken to diagnose a similar incident. The technical teams will improve escalation and diagnostic procedures with the infrastructure provider in order to speed up analysis when several technical layers are likely to be involved.

1. 13 mai 2026 à 06:41 UTCinvestigating

   We are currently investigating this issue.

2. 13 mai 2026 à 06:56 UTCresolved

   This incident has been resolved.

1. 12 mai 2026 à 14:49 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 12 mai 2026 à 15:08 UTCidentified

   We are continuing to work on a fix for this issue.

3. 12 mai 2026 à 15:27 UTCresolved

   This incident has been resolved.

4. 13 mai 2026 à 09:07 UTCpostmortem

   ## Résumé Entre 15h41 et 15h55, plusieurs services de la plateforme sont devenus inaccessibles \(Discussions, accès aux fichiers\). Une perturbation a également affecté les box de fichiers, rendant impossible la navigation dans l'arborescence et la visualisation ou modification des fichiers. Les équipes techniques ont diagnostiqué et résolu l'ensemble des problèmes entre 16h49 et 17h27. ## Chronologie des événements * **15:41** — Déclenchement des premières alertes de supervision * **15:55** — Retour à la normale pour les services supervisés \(alertes OK\). * **~16h** — Remontées clients signalant l'inaccessibilité des box de fichiers \(navigation dans les dossiers, visualisation et modification de fichiers\). * **16:33** — Prise en compte officielle de l'incident par les équipes techniques. * **16:49** — Ouverture d'une page de statut. Début des actions correctives * **~17h15** — Services de nouveau pleinement opérationnels. * **17:27** — Fermeture de la page de statut. Clôture des tickets clients. ## Difficultés rencontrées * L'incident a touché plusieurs composants indépendants, ce qui a nécessité un diagnostic multi-couches. * La cause principale n'était pas immédiatement visible et a dû être corrélée avec les données de supervision. * Une erreur de permissions sur un fichier système a bloqué le redémarrage du moteur de recherche et a dû être corrigée manuellement avant de pouvoir rétablir le service. ## Cause de l'incident L'incident a été provoqué par le redémarrage inopiné de plusieurs serveurs d'infrastructure. ## Perte de données Aucune perte de données n'a été constatée. L'incident était de nature disponibilité uniquement.

1. 29 avril 2026 à 04:33 UTCinvestigating

   Un incident est actuellement en cours sur Whaller365. L’affichage et l’édition en ligne des fichiers Office sont indisponibles ou fortement perturbés. Les équipes techniques sont mobilisées pour identifier l’origine du problème et rétablir le service dans les meilleurs délais. Les autres fonctionnalités de Whaller restent accessibles. Nous publierons une mise à jour dès que nous disposerons de nouveaux éléments.

2. 29 avril 2026 à 05:33 UTCidentified

   La cause de l'incident est identifiée. C'est une cause logicielle : une mise à jour hier soir a provoqué un dysfonctionnement sur OnlyOffice. La correction est en cours de déploiement.

3. 29 avril 2026 à 05:40 UTCresolved

   La correction logicielle a été passée en production. Nous vous prions de bien vouloir nous excuser pour la gêne occasionnée.

4. 29 avril 2026 à 05:44 UTCpostmortem

   ## Résumé Le 29 avril 2026 au matin, un incident de production a rendu indisponible l’affichage et l’édition des fichiers Office dans les espaces de stockage. Les utilisateurs ne pouvaient plus ouvrir leurs documents. L’incident a été détecté suite à un signalement utilisateur. Les équipes techniques ont rapidement identifié une régression introduite lors d’une mise en production la veille et ont déployé un correctif dans la matinée. Le service a été rétabli en moins de deux heures après détection. ## Chronologie des événements * **28 avril 2026 \(soir\)** : mise en production d’une version introduisant une régression. * **29 avril 2026 06:30** : signalement de l’incident par un utilisateur. * **07:07** : identification d’une cause probable d’origine logicielle par les équipes techniques. * **07:10** : création d’un ticket de suivi. * **07:28** : déploiement d’un correctif. * **07:38** : mise en production du correctif et validation du retour à la normale. ## Difficultés rencontrées * L’incident n’a pas été détecté automatiquement, mais uniquement via un signalement utilisateur. * La régression ne concernait qu’un cas spécifique non couvert par les mécanismes de supervision existants. * Le comportement en cause dépendait d’une interaction subtile entre le client et le serveur \(gestion d’un paramètre vide\), rendant l’identification initiale moins immédiate. ## Cause de l'incident L’incident est dû à une régression introduite lors d’une mise en production, liée à une évolution fonctionnelle. Un paramètre transmis par le client était interprété différemment par le serveur selon qu’il était vide ou nul. Dans certains cas, une valeur vide empêchait la résolution correcte de la version du document, entraînant la génération d’une configuration invalide pour le service d’édition Office, et donc l’impossibilité d’afficher les fichiers. ## Perte de données Aucune perte de données n’est à signaler. Les documents n’ont pas été altérés, et l’incident n’a impacté que leur affichage et leur édition temporaire. ## Mesures de remédiation * Correction immédiate du comportement côté serveur pour normaliser les paramètres reçus. * Déploiement d’un correctif en production dans les plus brefs délais. * Renforcement des contrôles sur les cas limites liés aux paramètres transmis par le client. * Amélioration des scénarios de tests pour couvrir ce type de situation. * Réflexion en cours sur l’amélioration des mécanismes de détection proactive afin de réduire le délai de détection en cas de régression similaire.

1. 28 avril 2026 à 06:35 UTCinvestigating

   We are currently investigating this issue.

2. 28 avril 2026 à 07:19 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 28 avril 2026 à 07:41 UTCresolved

   This incident has been resolved.

4. 30 avril 2026 à 06:36 UTCpostmortem

   **Résumé** Le 28 avril 2026, entre 08h17 et 09h18, le service Whaller365 a été indisponible suite à la suppression automatique de la configuration Nginx lors d'une mise à jour système non supervisée. La durée totale d'indisponibilité a été d'environ 1 heure. **Chronologie des événements** * **08h17** Une mise à jour automatique du paquet `` `nginx-common` `` efface la configuration Nginx, dont les fichiers spécifiques à OnlyOffice. Nginx tente de redémarrer et échoue immédiatement. * **08h18** Les équipes techniques reçoivent une alerte signalant l'indisponibilité du service. * **08h36** Les équipes techniques confirment l'origine de l'incident et engagent la procédure de restauration. * **09h18** La configuration Nginx est intégralement reconstruite et le service OnlyOffice est rétabli. **Difficultés rencontrées** La configuration Nginx d'OnlyOffice repose sur des fichiers et liens symboliques créés manuellement, en dehors du gestionnaire de paquets. Ces éléments n'ont pas été recréés automatiquement lors de la mise à jour, ce qui a rendu la restauration entièrement manuelle. La tentative de régénération automatique via les outils de reconfiguration OnlyOffice n'a pas suffi à restaurer l'ensemble des fichiers manquants, allongeant la durée d'intervention. **Cause de l'incident** À 08h17, le système de mise à jour automatique \(`` `unattended-upgrades` ``\) a appliqué une mise à jour du paquet `` `nginx-common` ``. Durant ce processus, dpkg a réinitialisé le répertoire de configuration `` `/etc/nginx/` ``, supprimant le fichier `` `nginx.conf` `` ainsi que les liens symboliques nécessaires au fonctionnement d'OnlyOffice. Ces fichiers, créés manuellement et non gérés par dpkg, n'ont pas été préservés. Nginx n'a pas pu redémarrer après la mise à jour, rendant OnlyOffice inaccessible. **Perte de données** Aucune perte de données utilisateur n'est à déplorer. Seule la configuration système du serveur a été affectée. **Mesures de remédiation** Reconstruction complète de la configuration Nginx et rétablissement du service

1. 24 novembre 2025 à 08:36 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 24 novembre 2025 à 20:15 UTCresolved

   This incident has been resolved.

1. 21 novembre 2025 à 07:56 UTCinvestigating

   Nous rencontrons actuellement des difficultés techniques affectant l'authentification et la navigation sur la plateforme. Nos équipes techniques travaillent activement à la résolution de ce problème. Nous vous tiendrons informés de l'avancement et vous présenterons nos excuses pour la gêne occasionnée.

2. 21 novembre 2025 à 08:23 UTCidentified

   Nous avons identifié le problème qui est lié aux serveurs de bases de données, nous corrigeons le problème.

3. 21 novembre 2025 à 08:24 UTCmonitoring

   Le service est revenu à la normale, nous surveillons les services et nous vous ferons part d'un post mortem détaillé.

4. 21 novembre 2025 à 08:30 UTCresolved

   This incident has been resolved.

1. 13 novembre 2025 à 08:30 UTCresolved

   Suite à une panne technique sur un disque hébergeant des données chez notre hébergeur, les accès à des fichiers ont pu être perturbés pour certains utilisateurs. L'incident a été résolu une fois le disque remis en service. L'incident chez notre hébergeur est disponible ici : https://hosted-private-cloud.status-ovhcloud.com/incidents/9j5l7jt7zgx8

1. 4 novembre 2025 à 10:52 UTCresolved

   Le 4 novembre 2025, une anomalie matérielle sur un hôte VMware hébergé chez OVHCloud a entraîné une série d’alertes de supervision et une indisponibilité sur une partie de l’infrastructure. L’incident a été résolu après la mise en service d’un hôte de remplacement par OVHCloud. Chronologie des événements 10:16 : Les équipes techniques identifient, à la suite d’alertes envoyées par le système de supervision, qu’un hôte est en erreur, provoquant des alertes en continu. 10:22 : La direction technique est informée de la situation. 10:23 : OVH annonce la détection d’une anomalie matérielle sur l’hôte concerné et prévoit la livraison d’un hôte de remplacement. 11:13 : L’hôte de remplacement est livré par OVH. 11:15 : Fin de l’incident. Cause de l’incident L’incident a été causé par une anomalie matérielle sur un hôte VMware hébergé chez OVH, entraînant un comportement défaillant du nœud jusqu’à sa substitution. Perte de données Aucune perte de données n’a été constatée. Les services ont pu avoir des indisponibilités pendant la durée de l’incident.

1. 18 septembre 2025 à 07:35 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 18 septembre 2025 à 09:45 UTCresolved

   This incident has been resolved.

1. 1 septembre 2025 à 16:20 UTCresolved

   Le 1er septembre 2025 entre 10:12 et 10:39, les utilisateurs d’une marque blanche hébergée sur Whaller ont pu connaître des problèmes d’authentification. Cela était lié à une indisponibilité du service de connexion suite à une perte de liaison avec notre cluster de données. Une fois la liaison rétablie, le service de connexion était de nouveau fonctionnel.

1. 20 août 2025 à 16:09 UTCresolved

   Afin d'ajouter une couche supplémentaire de sécurité sur l'authentification via SSO, nous avons effectué une mise à jour de l'application. Une erreur de configuration a rendu indisponible l'authentification pendant 30 minutes de 15:00 à 15:30, heure à laquelle nous avons déployé un correctif.

1. 19 août 2025 à 07:49 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 19 août 2025 à 12:53 UTCresolved

   This incident has been resolved.

1. 18 juillet 2025 à 10:35 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 18 juillet 2025 à 10:48 UTCresolved

   This incident has been resolved.

1. 19 juin 2025 à 08:09 UTCinvestigating

   We are currently investigating this issue.

2. 19 juin 2025 à 08:49 UTCresolved

   This incident has been resolved.

3. 19 juin 2025 à 14:52 UTCpostmortem

   ## Résumé Un incident de production a été détecté le 19 juin 2025, entraînant l’absence de marquage en non lus des nouveaux messages et commentaires \(puces et texte en gras\). L'incident a été résolu après identification de la cause et déploiement d'un correctif. ## Chronologie des événements * 19/06/2025 10:03 : Détection de l’incident. * 10:05 : Confirmation de l'incident. * 10:40 : Identification de la cause \(problème de routage du “queueing” interne\) * 10:47 : Déploiement et mise en prod du correctif * 11:50 : Fin du traitement des données en attente, fin de l'incident. ## Difficultés rencontrées * Gestion des files d'attente saturées et impact sur les services dépendants. ## Cause de l'incident La cause de l'incident a été identifiée comme étant un problème de routage du système de “queueing” interne \(traitement des instructions asynchrones\). ## Perte de données Aucune perte de données n'a été rapportée durant cet incident. ## Mesures de remédiation * Correctif déployé : Une nouvelle version a été déployée pour corriger le problème. * Surveillance renforcée : Les équipes techniques ont renforcé la surveillance des files d'attente pour détecter rapidement tout comportement anormal. * Amélioration des processus : Révision des processus de déploiement pour éviter des incidents similaires à l'avenir.

1. 2 juin 2025 à 15:07 UTCresolved

   Certaines pages ont été inaccessibles pendant quelques instants suite à une modification de la configuration des notifications. Vous pouvez maintenant choisir si vous désirez recevoir le son des notifications du service Discussions.

1. 23 mai 2025 à 10:20 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 23 mai 2025 à 11:00 UTCresolved

   This incident has been resolved.