История сбоев Whaller

1. 19 августа 2026 г. в 08:02 UTCresolved

   В настоящее время мы расследуем этот вопрос.

2. 19 августа 2026 г. в 08:09 UTCpostmortem

   # Postmortem — Indisponibilité des résultats de recherche ## Résumé Le 17 août 2026, entre 15 h 36 et 17 h 15 CEST, un incident a affecté le service de recherche et certaines fonctionnalités d’analyse. Durant cette période, les requêtes adressées au moteur de recherche échouaient et les interfaces concernées ne retournaient aucun résultat. L’incident a été détecté à la suite de signalements du client. Les équipes techniques ont identifié une incompatibilité introduite lors de la mise à jour d’une dépendance logicielle, puis déployé une correction. Le service a été entièrement rétabli à 17 h 15 CEST. ## Chronologie des événements * **17 août 2026 à 15 h 36 CEST** : début de l’incident. Les requêtes adressées au moteur de recherche commencent à échouer. * **À partir de 15 h 36 CEST** : l’absence de résultats devient visible dans les interfaces concernées et fait l’objet de signalements du client. * **16 h 26 CEST** : les équipes techniques prennent en charge l’incident et lancent les investigations. * **17 h 08 CEST** : les équipes techniques déploient une première correction. * **17 h 13 CEST** : le déploiement est terminé et les tests confirment le rétablissement du fonctionnement attendu. * **17 h 15 CEST** : la correction est mise en production et l’incident est déclaré résolu. La durée totale de l’incident a été de **1 heure et 39 minutes**. ## Difficultés rencontrées L’incident résultait d’un effet indirect lié à l’évolution d’une dépendance partagée entre plusieurs composants logiciels. La modification n’affectait pas directement la logique métier du moteur de recherche. Elle concernait une option technique de connexion devenue incompatible avec le client HTTP désormais utilisé. Cette incompatibilité a rendu l’origine de l’incident moins immédiatement identifiable. Par ailleurs, l’incident a d’abord été détecté grâce aux signalements du client et à l’absence visible de résultats dans les interfaces. ## Cause de l’incident Une mise à jour de dépendances a entraîné l’utilisation d’un nouveau client HTTP par le composant chargé de communiquer avec le moteur de recherche. Les composants de recherche et d’analyse lui transmettaient encore une option de délai de connexion propre à l’ancien client HTTP. Cette option n’étant pas reconnue par le nouveau composant, les appels au moteur de recherche échouaient systématiquement. La correction a consisté à remplacer cette option par son équivalent compatible avec le nouveau client HTTP. Ce changement ne modifie pas le comportement fonctionnel du service : il maintient uniquement la limite prévue pour l’établissement de la connexion au moteur de recherche. ## Perte de données Aucune perte ni altération de données n’a été constatée. Pendant l’incident, les données sont restées enregistrées, mais les fonctionnalités affectées ne permettaient plus de les retrouver ou de les afficher correctement dans les résultats de recherche et d’analyse. ## Mesures de remédiation Les équipes techniques ont mis en œuvre les actions suivantes : * correction de l’option de connexion utilisée par les composants de recherche et d’analyse ; * déploiement et validation de la correction sur les différents composants concernés ; * vérification du rétablissement des résultats de recherche après la mise en production. --- # Post-mortem — Search results unavailable ## Summary On 17 August 2026, between 15:36 and 17:15 CEST, an incident affected the search service and certain analytics features. During this period, queries sent to the search engine failed and the affected interfaces returned no results. The incident was detected following reports from the client. The technical teams identified an incompatibility introduced during the update of a software dependency and subsequently deployed a fix. The service was fully restored at 17:15 CEST. ## Timeline of events * **17 August 2026 at 15:36 CEST**: start of the incident. Requests sent to the search engine began to fail. * **From 15:36 CEST**: the absence of results became apparent in the affected interfaces and was reported by customers. * **16:26 CEST**: the technical teams took charge of the incident and began investigations. * **17:08 CEST**: the technical teams deploy an initial fix. * **17:13 CEST**: the deployment is complete and tests confirm that the system is functioning as expected. * **17:15 CEST**: the fix is put into production and the incident is declared resolved. The total duration of the incident was **1 hour and 39 minutes**. ## Challenges encountered The incident resulted from an indirect effect linked to a change in a dependency shared between several software components. The change did not directly affect the search engine’s business logic. It concerned a technical connection option that had become incompatible with the HTTP client now in use. This incompatibility made the cause of the incident less immediately identifiable. Furthermore, the incident was first detected thanks to reports from users and the visible absence of results in the user interfaces. ## Cause of the incident An update to dependencies led to the component responsible for communicating with the search engine using a new HTTP client. The search and analysis components were still passing it a connection timeout option specific to the old HTTP client. As this option was not recognised by the new component, calls to the search engine consistently failed. The fix involved replacing this option with its equivalent, which is compatible with the new HTTP client. This change does not alter the functional behaviour of the service: it merely maintains the intended limit for establishing the connection to the search engine. ## Data loss No data loss or corruption was observed. During the incident, the data remained stored, but the affected functionalities were no longer able to retrieve it or display it correctly in the search and analysis results. ## Remedial measures The technical teams implemented the following actions: * correction of the connection option used by the search and analysis components; * deployment and validation of the correction across the various components concerned; * verification that search results had been restored following the production roll-out.

Автоматический перевод официального обновления инцидента.

1. 9 июля 2026 г. в 10:32 UTCinvestigating

   A la suite d'une opération de maintenance programmée qui était censée être invisible pour les utilisateurs, les moteurs de recherche et annuaires ne sont plus accessibles sur la plateforme. Nous avons identifié le problème et le corrigeons au plus vite. --- Following a scheduled maintenance operation that was intended to be invisible to users, search engines and directories are no longer accessible on the platform. We have identified the problem and are fixing it as quickly as possible.

2. 9 июля 2026 г. в 10:36 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 9 июля 2026 г. в 12:35 UTCresolved

   L'incident est résolu. --- The incident has been resolved.

4. 10 июля 2026 г. в 08:41 UTCpostmortem

   # Post-mortem — Incident Elasticsearch du 9 juillet 2026 ## Résumé Le 9 juillet 2026, un incident de production a affecté le service Elasticsearch utilisé par les fonctions de recherche et d’analytics. L’incident a entraîné une indisponibilité partielle du cluster Elasticsearch, avec un impact visible sur certaines fonctionnalités dépendantes de la recherche, notamment l’affichage de l’annuaire dans les sphères et l’accès aux interfaces dédiées de monitoring ou de recherche. L’incident a été détecté à partir de remontées support et de constats techniques indiquant que le cluster n’était plus accessible sur les URLs dédiées. Les équipes techniques sont intervenues pour diagnostiquer l’origine du problème, mettre à niveau le nœud concerné, redémarrer les services affectés et vérifier le retour à un état nominal. L’incident a été ouvert à 12h32 CEST sur la page de statut et clôturé à 14h35 CEST après rétablissement des serveurs. ## Chronologie des événements Le 9 juillet 2026, les événements suivants se sont produits : * **12h20 CEST** : les équipes techniques redémarrent l’un des nœuds Elasticsearch. * **12h22 CEST** : les équipes techniques confirment un incident de production : Elasticsearch ne redémarre pas correctement. * **12h28 CEST** : l’analyse montre un écart de version entre les nœuds du cluster. Deux nœuds sont en version plus récente, tandis que le nœud redémarré, qui jouait le rôle de master, est dans une version antérieure. Les équipes techniques procèdent alors à sa mise à jour. * **12h32 CEST** : une page d’incident est publiée sur la page de statut. * **14h35 CEST** : les serveurs sont à nouveau fonctionnels. Les vérifications étant concluantes, l’incident est considéré comme résolu et la page de statut est clôturée. ## Difficultés rencontrées La principale difficulté a été liée à la configuration particulière de la machine concernée. Cette machine hébergeait deux instances Elasticsearch distinctes correspondant à deux services différents. La remise en cohérence de la version Elasticsearch devait donc être réalisée avec précaution sur les deux instances, sans écraser les configurations, les données, les logs ou les sauvegardes propres à chaque service. Une autre difficulté a concerné le comportement du cluster au redémarrage. Le nœud concerné ne pouvait pas rejoindre le cluster, car sa version était inférieure à celle des autres nœuds déjà en fonctionnement. Les logs indiquaient explicitement qu’un nœud dans cette version ne pouvait pas rejoindre un cluster composé uniquement de nœuds dans une version plus récente. ## Cause de l'incident La cause de l’incident est un écart de version entre les nœuds du cluster Elasticsearch. Le nœud redémarré était dans une version antérieure à celle des deux autres nœuds. Or, Elasticsearch ne permettait pas à ce nœud de rejoindre un cluster composé uniquement de nœuds dans une version plus récente. Le cluster s’est donc retrouvé dans un état non nominal après le redémarrage du nœud concerné, ce qui a entraîné l’indisponibilité des services dépendants. La cause racine n’est pas liée à une action individuelle, mais à un manque de formalisation et de sécurisation de la procédure de mise à jour et de redémarrage du cluster Elasticsearch, en particulier dans un contexte d’installation spécifique avec plusieurs instances sur une même machine. ## Perte de données Aucune perte de données n’a été identifiée à la suite de cet incident. L’incident a concerné la disponibilité du service Elasticsearch et la capacité des nœuds à fonctionner correctement ensemble au sein du cluster. Les données existantes n’ont pas été supprimées ni altérées. ## Mesures de remédiation Les équipes techniques ont procédé à la remise à niveau du nœud concerné afin d’aligner sa version Elasticsearch avec celle des autres nœuds du cluster. Les services Elasticsearch concernés ont ensuite été redémarrés progressivement, avec vérification des versions installées, des plugins nécessaires et des logs de démarrage. Les équipes techniques ont également vérifié le retour à un état nominal depuis les interfaces de monitoring des clusters concernés. À la suite de cet incident, plusieurs actions de remédiation sont prévues : * formaliser une procédure de mise à jour et de redémarrage du cluster Elasticsearch ; * documenter les étapes spécifiques applicables aux machines hébergeant plusieurs instances Elasticsearch ; * préciser la procédure d’installation ou de réinstallation des plugins nécessaires après mise à jour ; * ajouter une étape de vérification explicite des versions avant redémarrage d’un nœud ; * étudier la procédure de sortie propre d’un nœud du cluster afin de permettre l’élection d’un nouveau master sans interruption ; * étudier une séparation plus forte des clusters, par exemple sur davantage de machines, afin de réduire les dépendances entre services et de limiter l’impact d’un incident similaire. Ces mesures doivent permettre de réduire le risque de réapparition d’un incident lié à un écart de version entre nœuds Elasticsearch et d’améliorer la résilience des opérations de maintenance. --- # Post-mortem — Elasticsearch incident of 9 July 2026 ## Summary On 9 July 2026, a production incident affected the Elasticsearch service used by the search and analytics functions. The incident resulted in partial unavailability of the Elasticsearch cluster, with a noticeable impact on certain search-dependent features, notably the display of the directory within the spheres and access to dedicated monitoring and search interfaces. The incident was detected following support reports and technical findings indicating that the cluster was no longer accessible via the dedicated URLs. The technical teams intervened to diagnose the cause of the problem, upgrade the affected node, restart the affected services and verify that the system had returned to normal operation. The incident was logged at 12:32 CEST on the status page and closed at 14:35 CEST once the servers had been restored. ## Timeline of events On 9 July 2026, the following events occurred: * **12.20 CEST**: the technical teams restarted one of the Elasticsearch nodes. * **12.22 CEST**: the technical teams confirmed a production incident: Elasticsearch was not restarting correctly. * **12.28 CEST**: analysis revealed a version discrepancy between the nodes in the cluster. Two nodes were running a newer version, whilst the restarted node, which was acting as the master, was running an older version. The technical teams then proceeded to update it. * **12.32 CEST**: an incident notice was published on the status page. * **14:35 CEST**: The servers are operational again. As the checks were conclusive, the incident is considered resolved and the status page is closed. ## Challenges encountered The main challenge was linked to the specific configuration of the machine in question. This machine hosted two separate Elasticsearch instances corresponding to two different services. The process of synchronising the Elasticsearch version therefore had to be carried out with care on both instances, without overwriting the configurations, data, logs or backups specific to each service. Another difficulty concerned the cluster’s behaviour upon restart. The node in question was unable to join the cluster because its version was older than that of the other nodes already in operation. The logs explicitly stated that a node running this version could not join a cluster consisting solely of nodes running a more recent version. ## Cause of the incident The cause of the incident was a version discrepancy between the nodes in the Elasticsearch cluster. The restarted node was running an older version than the other two nodes. However, Elasticsearch did not allow this node to join a cluster consisting solely of nodes running a newer version. The cluster therefore ended up in a non-nominal state after the affected node was restarted, resulting in the unavailability of dependent services. The root cause is not linked to any individual action, but to a lack of formalisation and security measures in the procedure for updating and restarting the Elasticsearch cluster, particularly in the context of a specific installation with multiple instances on the same machine. ## Data loss No data loss was identified as a result of this incident. The incident affected the availability of the Elasticsearch service and the ability of the nodes to function correctly together within the cluster. Existing data was neither deleted nor altered. ## Remedial measures The technical teams upgraded the affected node to bring its Elasticsearch version into line with that of the other nodes in the cluster. The affected Elasticsearch services were then restarted gradually, whilst verifying the installed versions, the necessary plugins and the start-up logs. The technical teams also verified that the system had returned to normal operation via the monitoring interfaces for the affected clusters. Following this incident, several remedial actions are planned: * to formalise a procedure for updating and restarting the Elasticsearch cluster; * document the specific steps applicable to machines hosting multiple Elasticsearch instances; * clarify the procedure for installing or reinstalling the necessary plugins after an update; * add an explicit version verification step before restarting a node; * review the procedure for gracefully removing a node from the cluster to allow the election of a new master without interruption; * examine the possibility of greater cluster segregation, for example across more machines, in order to reduce dependencies between services and limit the impact of a similar incident. These measures should help to reduce the risk of a recurrence of an incident linked to a version discrepancy between Elasticsearch nodes and improve the resilience of maintenance operations.

1. 7 июля 2026 г. в 15:41 UTCinvestigating

   Certains utilisateurs rencontrent des déconnexions intempestives de leur compte. Nous investiguons le problème. --- Some users are experiencing unexpected logouts from their accounts. We are investigating the issue.

2. 7 июля 2026 г. в 16:17 UTCmonitoring

   Le problème a été identifié, c'est dû à une mise à jour d'une librairie interne. Nous sommes revenus en arrière et la plateforme semble être revenue à la normale. --- The problem has been identified; it was caused by an update to an internal library. We have rolled back the update and the platform appears to be back to normal.

3. 7 июля 2026 г. в 18:02 UTCresolved

   This incident has been resolved.

4. 8 июля 2026 г. в 07:41 UTCpostmortem

   # Post-mortem — Déconnexions intempestives sur la plateforme ## Résumé Le 7 juillet 2026, la plateforme Whaller a rencontré un incident de production provoquant des déconnexions intempestives de certains utilisateurs. Le symptôme observé était le suivant : après authentification, l’interface semblait charger normalement, puis l’utilisateur était renvoyé vers la page de connexion. L’incident a été traité en priorité critique par les équipes techniques. Après investigation et déploiement d’un correctif, le service est revenu à un fonctionnement normal. ## Chronologie des événements Le 7 juillet 2026, en fin d’après-midi, les équipes techniques constatent un premier cas de déconnexion forcée après authentification. Peu après, un client confirme un comportement similaire : tentative de connexion, chargement de l’interface, puis retour automatique vers la page de connexion. Une première analyse oriente les investigations vers une évolution applicative récemment mise en production. Un correctif est préparé et déployé afin de revenir en arrière sur cette évolution. Un premier correctif est mis en production, sans résoudre complètement la situation. Les équipes techniques poursuivent alors l’analyse et identifient plus précisément le composant applicatif à l’origine du problème. Un second correctif est ensuite déployé. Après cette mise en production, les déconnexions intempestives ne sont plus constatées. ## Difficultés rencontrées L’incident a présenté plusieurs difficultés d’analyse. Le symptôme visible côté utilisateur était simple à décrire, mais sa cause pouvait provenir de plusieurs couches techniques différentes : gestion des sessions, évolution applicative récente, traitement de maintenance ou infrastructure de base de données. Les équipes techniques ont donc dû investiguer plusieurs pistes en parallèle avant d’isoler la cause réelle. Enfin, un premier correctif a été déployé sur la base de l’hypothèse la plus probable à ce moment-là, mais cette correction n’a pas suffi à résoudre durablement l’incident. Un second correctif a été nécessaire après identification plus précise du composant concerné. ## Cause de l’incident L’incident a été causé par une régression introduite dans une mise à jour récente d’un composant applicatif lié aux discussions. Cette régression provoquait, dans certaines conditions, une instabilité de la session utilisateur après authentification. L’utilisateur pouvait donc réussir à se connecter, puis être immédiatement renvoyé vers la page de connexion. ## Perte de données Aucune perte de données n’a été identifiée. L’incident a affecté l’accès à la plateforme et la stabilité des sessions utilisateur, mais il n’a pas entraîné de suppression, d’altération ou de corruption de données. ## Mesures de remédiation Les équipes techniques ont déployé un correctif permettant de revenir à une version stable du composant applicatif concerné. À la suite de cet incident, les mesures suivantes sont engagées : * analyse détaillée du composant applicatif concerné afin d’identifier précisément le changement ayant provoqué la régression ; * surveillance renforcée après déploiement des correctifs liés à l’authentification, aux discussions et aux mécanismes de reconnexion. Les équipes techniques restent mobilisées afin de prévenir la réapparition de ce type d’incident. --- # Post-mortem — Unexpected logouts on the platform ## Summary On 7 July 2026, the Whaller platform experienced a production incident causing some users to be unexpectedly logged out. The symptom observed was as follows: after logging in, the interface appeared to load normally, but the user was then redirected back to the login page. The incident was treated as a critical priority by the technical teams. Following an investigation and the deployment of a fix, the service returned to normal operation. ## Timeline of events On 7 July 2026, in the late afternoon, the technical teams noted the first instance of a forced logout following authentication. Shortly afterwards, a customer confirmed similar behaviour: an attempt to log in, the interface loading, then an automatic return to the login page. An initial analysis pointed the investigation towards an application update that had recently been put into production. A patch was prepared and deployed to roll back this update. An initial patch was put into production, but this did not fully resolve the issue. The technical teams then continued their analysis and identified more precisely the application component causing the problem. A second patch was then deployed. Following this deployment, the unexpected logouts were no longer observed. ## Challenges encountered The incident presented several challenges for analysis. The symptom visible to the user was simple to describe, but its cause could have stemmed from several different technical layers: session management, a recent application update, maintenance operations or the database infrastructure. The technical teams therefore had to investigate several lines of inquiry in parallel before isolating the actual cause. Finally, an initial fix was deployed based on the most likely hypothesis at that time, but this fix was not sufficient to resolve the incident permanently. A second fix was required following a more precise identification of the component concerned. ## Cause of the incident The incident was caused by a regression introduced in a recent update to an application component related to chat functionality. Under certain conditions, this regression caused user sessions to become unstable after authentication. As a result, users could successfully log in, only to be immediately redirected back to the login page. ## Data loss No data loss was identified. The incident affected access to the platform and the stability of user sessions, but did not result in any data being deleted, altered or corrupted. ## Remedial measures The technical teams deployed a patch to revert to a stable version of the affected application component. Following this incident, the following measures have been implemented: * a detailed analysis of the affected application component to precisely identify the change that caused the regression; * enhanced monitoring following the deployment of patches relating to authentication, chat and reconnection mechanisms. The technical teams remain on high alert to prevent this type of incident from recurring.

1. 23 июня 2026 г. в 12:25 UTCinvestigating

   We are currently investigating this issue.

2. 23 июня 2026 г. в 12:25 UTCinvestigating

   We are continuing to investigate this issue.

3. 23 июня 2026 г. в 20:44 UTCresolved

   Nous avons identifié et corrigé le problème. La plateforme est de nouveau accessible. Nous produirons un post mortem dans les heures suivantes. We have identified and resolved the issue. The platform is now accessible again. We will be publishing a post-mortem in the next few hours.

4. 23 июня 2026 г. в 21:34 UTCpostmortem

   # Post-mortem — Incident de production du 23 juin 2026 ## Résumé Le 23 juin 2026, un incident de production a rendu la plateforme principale ainsi que les accès associés indisponibles pour les utilisateurs. L’incident a été détecté à la suite d’alertes de supervision indiquant une indisponibilité des services. Les équipes techniques ont immédiatement engagé les premières actions de diagnostic et de redémarrage sur les composants applicatifs et d’infrastructure concernés. L’analyse a montré que le mécanisme de vérification de disponibilité du répartiteur de charge ne parvenait plus à valider correctement les frontaux applicatifs. Ceux-ci répondaient avec un code HTTP 403 aux requêtes de contrôle, ce qui les faisait considérer comme indisponibles, entraînant l’interruption du service. Le service a été rétabli après ajustement temporaire de la validation côté infrastructure, puis correction de la cause ayant entraîné ces réponses 403. ## Chronologie des événements Le 23 juin 2026 en début d’après-midi, les alertes de supervision ont signalé l’indisponibilité de la plateforme principale et des accès associés. Les équipes techniques ont procédé aux premières vérifications et redémarrages des composants applicatifs concernés, notamment les services web et certains serveurs frontaux. Un ticket prioritaire a été ouvert auprès de notre fournisseur d’infrastructure afin d’analyser le comportement du répartiteur de charge et des composants réseau associés. Les investigations ont ensuite porté sur l’état des pools HTTPS du répartiteur de charge, les composants d’infrastructure réseau, les serveurs frontaux et les journaux applicatifs. En fin de journée, une cellule de crise a été ouverte avec le fournisseur d’infrastructure afin d’accélérer l’analyse. Les vérifications croisées ont permis d’identifier que les requêtes de contrôle de disponibilité recevaient des réponses HTTP 403, ce qui empêchait le répartiteur de charge de considérer les frontaux comme disponibles. Une mesure temporaire a été appliquée sur la configuration du répartiteur de charge afin de rétablir le service. Après rétablissement, les équipes techniques ont poursuivi l’analyse et confirmé qu’une adresse interne utilisée pour les contrôles de disponibilité avait été bloquée. Le blocage a été levé, les réponses attendues sont redevenues conformes, puis la mesure temporaire a été supprimée. ## Difficultés rencontrées L’identification de la cause a été rendue difficile par le fait que plusieurs couches techniques pouvaient être en cause : serveurs applicatifs, configuration web, répartiteur de charge, composants réseau et infrastructure d’hébergement. Les premiers symptômes laissaient penser à un dysfonctionnement du répartiteur de charge ou de la couche réseau, car les frontaux étaient considérés comme indisponibles alors que certains services applicatifs continuaient à répondre localement. La corrélation entre le blocage d’une adresse interne et l’incident n’a été établie que tardivement, après recoupement des journaux applicatifs et des contrôles effectués pendant la cellule de crise. L’analyse a également nécessité l’intervention de plusieurs niveaux de support côté fournisseur d’infrastructure, ce qui a rallongé le temps de diagnostic. ## Cause de l’incident La cause de l’incident est le blocage d’une adresse interne utilisée par le mécanisme de contrôle de disponibilité du répartiteur de charge. À la suite de ce blocage, les requêtes de contrôle adressées aux serveurs frontaux recevaient des réponses HTTP 403 au lieu des réponses attendues. Le répartiteur de charge a alors considéré les frontaux comme indisponibles et n’a plus correctement distribué le trafic vers les services applicatifs. Cette situation a entraîné l’indisponibilité de la plateforme pour les utilisateurs. ## Perte de données Aucune perte de données n’a été constatée. L’incident a concerné l’accessibilité au service, mais n’a pas affecté l’intégrité des données stockées. ## Mesures de remédiation Les équipes techniques ont levé le blocage de l’adresse interne utilisée par les contrôles de disponibilité. Les équipes techniques ont vérifié le retour à un comportement nominal des serveurs frontaux et du répartiteur de charge. Les équipes techniques ont supprimé la mesure temporaire appliquée pendant l’incident une fois la cause corrigée. Les équipes techniques vont renforcer la supervision des contrôles de disponibilité afin de détecter plus rapidement les cas où un composant est considéré indisponible à cause d’un rejet applicatif ou réseau. Les équipes techniques vont revoir les règles de filtrage internes afin de mieux identifier les adresses techniques nécessaires au bon fonctionnement de l’infrastructure. Les équipes techniques vont documenter plus précisément les dépendances entre les contrôles de disponibilité, les serveurs frontaux et les règles de sécurité internes, afin de réduire le temps de diagnostic en cas d’incident similaire. Les équipes techniques vont améliorer les procédures d’escalade et de diagnostic avec le fournisseur d’infrastructure afin d’accélérer l’analyse lorsque plusieurs couches techniques sont susceptibles d’être impliquées. --- # Post-mortem — Production incident of 23 June 2026 ## Summary On 23 June 2026, a production incident rendered the main platform and associated access points unavailable to users. The incident was detected following monitoring alerts indicating that services were unavailable. The technical teams immediately began initial diagnostic checks and restarted the affected application and infrastructure components. Analysis revealed that the load balancer’s availability check mechanism was no longer able to correctly validate the application front-ends. These were responding to check requests with an HTTP 403 code, which caused them to be treated as unavailable, resulting in the service interruption. The service was restored following a temporary adjustment to the infrastructure-side validation, followed by the correction of the cause leading to these 403 responses. ## Timeline of events In the early afternoon of 23 June 2026, monitoring alerts indicated that the main platform and associated access points were unavailable. The technical teams carried out initial checks and restarted the affected application components, notably the web services and certain front-end servers. A high-priority ticket was raised with our infrastructure provider to analyse the behaviour of the load balancer and associated network components. Investigations then focused on the status of the load balancer’s HTTPS pools, the network infrastructure components, the front-end servers and the application logs. At the end of the day, a crisis task force was set up with the infrastructure provider to speed up the analysis. Cross-checks revealed that availability check requests were receiving HTTP 403 responses, which prevented the load balancer from recognising the front-end servers as available. A temporary fix was applied to the load balancer’s configuration to restore the service. Once service had been restored, the technical teams continued their analysis and confirmed that an internal address used for availability checks had been blocked. The block was lifted, the expected responses returned to normal, and the temporary fix was then removed. ## Challenges encountered Identifying the cause was made difficult by the fact that several technical layers could have been involved: application servers, web configuration, load balancer, network components and hosting infrastructure. The initial symptoms suggested a malfunction in the load balancer or the network layer, as the front-end servers were considered unavailable whilst some application services continued to respond locally. The link between the blocking of an internal address and the incident was only established at a late stage, after cross-referencing application logs and checks carried out during the crisis response. The analysis also required the involvement of several levels of support from the infrastructure provider, which prolonged the diagnosis time. ## Cause of the incident The cause of the incident was the blocking of an internal address used by the load balancer’s availability monitoring mechanism. As a result of this blocking, monitoring requests sent to the front-end servers received HTTP 403 responses instead of the expected responses. The load balancer then deemed the front-end servers to be unavailable and ceased to distribute traffic correctly to the application services. This situation resulted in the platform being unavailable to users. ## Data loss No data loss was observed. The incident affected access to the service but did not affect the integrity of the stored data. ## Remedial measures The technical teams unblocked the internal address used by the availability checks. The technical teams verified that the front-end servers and the load balancer had returned to normal operation. The technical teams removed the temporary measure applied during the incident once the cause had been rectified. The technical teams will strengthen the monitoring of availability checks in order to detect more quickly instances where a component is deemed unavailable due to an application or network rejection. The technical teams will review the internal filtering rules in order to better identify the technical addresses necessary for the infrastructure to function correctly. The technical teams will document the dependencies between availability checks, front-end servers and internal security rules in greater detail, in order to reduce the time taken to diagnose a similar incident. The technical teams will improve escalation and diagnostic procedures with the infrastructure provider in order to speed up analysis when several technical layers are likely to be involved.

1. 13 мая 2026 г. в 06:41 UTCinvestigating

   We are currently investigating this issue.

2. 13 мая 2026 г. в 06:56 UTCresolved

   This incident has been resolved.

1. 12 мая 2026 г. в 14:49 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 12 мая 2026 г. в 15:08 UTCidentified

   We are continuing to work on a fix for this issue.

3. 12 мая 2026 г. в 15:27 UTCresolved

   This incident has been resolved.

4. 13 мая 2026 г. в 09:07 UTCpostmortem

   ## Résumé Entre 15h41 et 15h55, plusieurs services de la plateforme sont devenus inaccessibles \(Discussions, accès aux fichiers\). Une perturbation a également affecté les box de fichiers, rendant impossible la navigation dans l'arborescence et la visualisation ou modification des fichiers. Les équipes techniques ont diagnostiqué et résolu l'ensemble des problèmes entre 16h49 et 17h27. ## Chronologie des événements * **15:41** — Déclenchement des premières alertes de supervision * **15:55** — Retour à la normale pour les services supervisés \(alertes OK\). * **~16h** — Remontées clients signalant l'inaccessibilité des box de fichiers \(navigation dans les dossiers, visualisation et modification de fichiers\). * **16:33** — Prise en compte officielle de l'incident par les équipes techniques. * **16:49** — Ouverture d'une page de statut. Début des actions correctives * **~17h15** — Services de nouveau pleinement opérationnels. * **17:27** — Fermeture de la page de statut. Clôture des tickets clients. ## Difficultés rencontrées * L'incident a touché plusieurs composants indépendants, ce qui a nécessité un diagnostic multi-couches. * La cause principale n'était pas immédiatement visible et a dû être corrélée avec les données de supervision. * Une erreur de permissions sur un fichier système a bloqué le redémarrage du moteur de recherche et a dû être corrigée manuellement avant de pouvoir rétablir le service. ## Cause de l'incident L'incident a été provoqué par le redémarrage inopiné de plusieurs serveurs d'infrastructure. ## Perte de données Aucune perte de données n'a été constatée. L'incident était de nature disponibilité uniquement.

1. 29 апреля 2026 г. в 04:33 UTCinvestigating

   Un incident est actuellement en cours sur Whaller365. L’affichage et l’édition en ligne des fichiers Office sont indisponibles ou fortement perturbés. Les équipes techniques sont mobilisées pour identifier l’origine du problème et rétablir le service dans les meilleurs délais. Les autres fonctionnalités de Whaller restent accessibles. Nous publierons une mise à jour dès que nous disposerons de nouveaux éléments.

2. 29 апреля 2026 г. в 05:33 UTCidentified

   La cause de l'incident est identifiée. C'est une cause logicielle : une mise à jour hier soir a provoqué un dysfonctionnement sur OnlyOffice. La correction est en cours de déploiement.

3. 29 апреля 2026 г. в 05:40 UTCresolved

   La correction logicielle a été passée en production. Nous vous prions de bien vouloir nous excuser pour la gêne occasionnée.

4. 29 апреля 2026 г. в 05:44 UTCpostmortem

   ## Résumé Le 29 avril 2026 au matin, un incident de production a rendu indisponible l’affichage et l’édition des fichiers Office dans les espaces de stockage. Les utilisateurs ne pouvaient plus ouvrir leurs documents. L’incident a été détecté suite à un signalement utilisateur. Les équipes techniques ont rapidement identifié une régression introduite lors d’une mise en production la veille et ont déployé un correctif dans la matinée. Le service a été rétabli en moins de deux heures après détection. ## Chronologie des événements * **28 avril 2026 \(soir\)** : mise en production d’une version introduisant une régression. * **29 avril 2026 06:30** : signalement de l’incident par un utilisateur. * **07:07** : identification d’une cause probable d’origine logicielle par les équipes techniques. * **07:10** : création d’un ticket de suivi. * **07:28** : déploiement d’un correctif. * **07:38** : mise en production du correctif et validation du retour à la normale. ## Difficultés rencontrées * L’incident n’a pas été détecté automatiquement, mais uniquement via un signalement utilisateur. * La régression ne concernait qu’un cas spécifique non couvert par les mécanismes de supervision existants. * Le comportement en cause dépendait d’une interaction subtile entre le client et le serveur \(gestion d’un paramètre vide\), rendant l’identification initiale moins immédiate. ## Cause de l'incident L’incident est dû à une régression introduite lors d’une mise en production, liée à une évolution fonctionnelle. Un paramètre transmis par le client était interprété différemment par le serveur selon qu’il était vide ou nul. Dans certains cas, une valeur vide empêchait la résolution correcte de la version du document, entraînant la génération d’une configuration invalide pour le service d’édition Office, et donc l’impossibilité d’afficher les fichiers. ## Perte de données Aucune perte de données n’est à signaler. Les documents n’ont pas été altérés, et l’incident n’a impacté que leur affichage et leur édition temporaire. ## Mesures de remédiation * Correction immédiate du comportement côté serveur pour normaliser les paramètres reçus. * Déploiement d’un correctif en production dans les plus brefs délais. * Renforcement des contrôles sur les cas limites liés aux paramètres transmis par le client. * Amélioration des scénarios de tests pour couvrir ce type de situation. * Réflexion en cours sur l’amélioration des mécanismes de détection proactive afin de réduire le délai de détection en cas de régression similaire.

1. 28 апреля 2026 г. в 06:35 UTCinvestigating

   We are currently investigating this issue.

2. 28 апреля 2026 г. в 07:19 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 28 апреля 2026 г. в 07:41 UTCresolved

   This incident has been resolved.

4. 30 апреля 2026 г. в 06:36 UTCpostmortem

   **Résumé** Le 28 avril 2026, entre 08h17 et 09h18, le service Whaller365 a été indisponible suite à la suppression automatique de la configuration Nginx lors d'une mise à jour système non supervisée. La durée totale d'indisponibilité a été d'environ 1 heure. **Chronologie des événements** * **08h17** Une mise à jour automatique du paquet `` `nginx-common` `` efface la configuration Nginx, dont les fichiers spécifiques à OnlyOffice. Nginx tente de redémarrer et échoue immédiatement. * **08h18** Les équipes techniques reçoivent une alerte signalant l'indisponibilité du service. * **08h36** Les équipes techniques confirment l'origine de l'incident et engagent la procédure de restauration. * **09h18** La configuration Nginx est intégralement reconstruite et le service OnlyOffice est rétabli. **Difficultés rencontrées** La configuration Nginx d'OnlyOffice repose sur des fichiers et liens symboliques créés manuellement, en dehors du gestionnaire de paquets. Ces éléments n'ont pas été recréés automatiquement lors de la mise à jour, ce qui a rendu la restauration entièrement manuelle. La tentative de régénération automatique via les outils de reconfiguration OnlyOffice n'a pas suffi à restaurer l'ensemble des fichiers manquants, allongeant la durée d'intervention. **Cause de l'incident** À 08h17, le système de mise à jour automatique \(`` `unattended-upgrades` ``\) a appliqué une mise à jour du paquet `` `nginx-common` ``. Durant ce processus, dpkg a réinitialisé le répertoire de configuration `` `/etc/nginx/` ``, supprimant le fichier `` `nginx.conf` `` ainsi que les liens symboliques nécessaires au fonctionnement d'OnlyOffice. Ces fichiers, créés manuellement et non gérés par dpkg, n'ont pas été préservés. Nginx n'a pas pu redémarrer après la mise à jour, rendant OnlyOffice inaccessible. **Perte de données** Aucune perte de données utilisateur n'est à déplorer. Seule la configuration système du serveur a été affectée. **Mesures de remédiation** Reconstruction complète de la configuration Nginx et rétablissement du service

1. 24 ноября 2025 г. в 08:36 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 24 ноября 2025 г. в 20:15 UTCresolved

   This incident has been resolved.

1. 21 ноября 2025 г. в 07:56 UTCinvestigating

   Nous rencontrons actuellement des difficultés techniques affectant l'authentification et la navigation sur la plateforme. Nos équipes techniques travaillent activement à la résolution de ce problème. Nous vous tiendrons informés de l'avancement et vous présenterons nos excuses pour la gêne occasionnée.

2. 21 ноября 2025 г. в 08:23 UTCidentified

   Nous avons identifié le problème qui est lié aux serveurs de bases de données, nous corrigeons le problème.

3. 21 ноября 2025 г. в 08:24 UTCmonitoring

   Le service est revenu à la normale, nous surveillons les services et nous vous ferons part d'un post mortem détaillé.

4. 21 ноября 2025 г. в 08:30 UTCresolved

   This incident has been resolved.

1. 13 ноября 2025 г. в 08:30 UTCresolved

   Suite à une panne technique sur un disque hébergeant des données chez notre hébergeur, les accès à des fichiers ont pu être perturbés pour certains utilisateurs. L'incident a été résolu une fois le disque remis en service. L'incident chez notre hébergeur est disponible ici : https://hosted-private-cloud.status-ovhcloud.com/incidents/9j5l7jt7zgx8

1. 4 ноября 2025 г. в 10:52 UTCresolved

   Le 4 novembre 2025, une anomalie matérielle sur un hôte VMware hébergé chez OVHCloud a entraîné une série d’alertes de supervision et une indisponibilité sur une partie de l’infrastructure. L’incident a été résolu après la mise en service d’un hôte de remplacement par OVHCloud. Chronologie des événements 10:16 : Les équipes techniques identifient, à la suite d’alertes envoyées par le système de supervision, qu’un hôte est en erreur, provoquant des alertes en continu. 10:22 : La direction technique est informée de la situation. 10:23 : OVH annonce la détection d’une anomalie matérielle sur l’hôte concerné et prévoit la livraison d’un hôte de remplacement. 11:13 : L’hôte de remplacement est livré par OVH. 11:15 : Fin de l’incident. Cause de l’incident L’incident a été causé par une anomalie matérielle sur un hôte VMware hébergé chez OVH, entraînant un comportement défaillant du nœud jusqu’à sa substitution. Perte de données Aucune perte de données n’a été constatée. Les services ont pu avoir des indisponibilités pendant la durée de l’incident.

1. 18 сентября 2025 г. в 07:35 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 18 сентября 2025 г. в 09:45 UTCresolved

   This incident has been resolved.

1. 1 сентября 2025 г. в 16:20 UTCresolved

   Le 1er septembre 2025 entre 10:12 et 10:39, les utilisateurs d’une marque blanche hébergée sur Whaller ont pu connaître des problèmes d’authentification. Cela était lié à une indisponibilité du service de connexion suite à une perte de liaison avec notre cluster de données. Une fois la liaison rétablie, le service de connexion était de nouveau fonctionnel.

1. 20 августа 2025 г. в 16:09 UTCresolved

   Afin d'ajouter une couche supplémentaire de sécurité sur l'authentification via SSO, nous avons effectué une mise à jour de l'application. Une erreur de configuration a rendu indisponible l'authentification pendant 30 minutes de 15:00 à 15:30, heure à laquelle nous avons déployé un correctif.

1. 19 августа 2025 г. в 07:49 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 19 августа 2025 г. в 12:53 UTCresolved

   This incident has been resolved.

1. 18 июля 2025 г. в 10:35 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 18 июля 2025 г. в 10:48 UTCresolved

   This incident has been resolved.

1. 19 июня 2025 г. в 08:09 UTCinvestigating

   We are currently investigating this issue.

2. 19 июня 2025 г. в 08:49 UTCresolved

   This incident has been resolved.

3. 19 июня 2025 г. в 14:52 UTCpostmortem

   ## Résumé Un incident de production a été détecté le 19 juin 2025, entraînant l’absence de marquage en non lus des nouveaux messages et commentaires \(puces et texte en gras\). L'incident a été résolu après identification de la cause et déploiement d'un correctif. ## Chronologie des événements * 19/06/2025 10:03 : Détection de l’incident. * 10:05 : Confirmation de l'incident. * 10:40 : Identification de la cause \(problème de routage du “queueing” interne\) * 10:47 : Déploiement et mise en prod du correctif * 11:50 : Fin du traitement des données en attente, fin de l'incident. ## Difficultés rencontrées * Gestion des files d'attente saturées et impact sur les services dépendants. ## Cause de l'incident La cause de l'incident a été identifiée comme étant un problème de routage du système de “queueing” interne \(traitement des instructions asynchrones\). ## Perte de données Aucune perte de données n'a été rapportée durant cet incident. ## Mesures de remédiation * Correctif déployé : Une nouvelle version a été déployée pour corriger le problème. * Surveillance renforcée : Les équipes techniques ont renforcé la surveillance des files d'attente pour détecter rapidement tout comportement anormal. * Amélioration des processus : Révision des processus de déploiement pour éviter des incidents similaires à l'avenir.

1. 2 июня 2025 г. в 15:07 UTCresolved

   Certaines pages ont été inaccessibles pendant quelques instants suite à une modification de la configuration des notifications. Vous pouvez maintenant choisir si vous désirez recevoir le son des notifications du service Discussions.

1. 23 мая 2025 г. в 10:20 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 23 мая 2025 г. в 11:00 UTCresolved

   This incident has been resolved.