Historial de interrupciones de Whaller

1. 19 de agosto de 2026 a las 8:02 UTCresolved

   A la suite d'une mise en production, les moteurs de recherche et annuaires ne sont plus accessibles sur la plateforme. Nous avons identifié le problème et le corrigeons au plus vite. -... Siguiendo un go-live, los motores de búsqueda y los directorios ya no son accesibles en la plataforma. Hemos identificado el problema y lo estamos rectificando lo más rápido posible.

2. 19 de agosto de 2026 a las 8:09 UTCpostmortem

   # Postmortem — Indisponibilité des résultats de recherche ## Résumé Le 17 août 2026, entre 15 h 36 et 17 h 15 CEST, un incident a affecté le service de recherche et certaines fonctionnalités d’analyse. Durant cette période, les requêtes adressées au moteur de recherche échouaient et les interfaces concernées ne retournaient aucun résultat. L’incident a été détecté à la suite de signalements du client. Les équipes techniques ont identifié une incompatibilité introduite lors de la mise à jour d’une dépendance logicielle, puis déployé une correction. Le service a été entièrement rétabli à 17 h 15 CEST. ## Chronologie des événements * **17 août 2026 à 15 h 36 CEST** : début de l’incident. Les requêtes adressées au moteur de recherche commencent à échouer. * **À partir de 15 h 36 CEST** : l’absence de résultats devient visible dans les interfaces concernées et fait l’objet de signalements du client. * **16 h 26 CEST** : les équipes techniques prennent en charge l’incident et lancent les investigations. * **17 h 08 CEST** : les équipes techniques déploient une première correction. * **17 h 13 CEST** : le déploiement est terminé et les tests confirment le rétablissement du fonctionnement attendu. * **17 h 15 CEST** : la correction est mise en production et l’incident est déclaré résolu. La durée totale de l’incident a été de **1 heure et 39 minutes**. ## Dificultades L’incident résultait d’un effet indirect lié à l’évolution d’une dépendance partagée entre plusieurs composants logiciels. La modificación n'affectait pas directement la logique métier du moteur de recherche. Elle concernait une option technique de connexion devenue incompatible avec le client HTTP désormais utilisé. Cette incompatibilité a rendu l’origine de l’incident moins immédiatement identifiable. Par ailleurs, l’incident a d’abord été détecté grâce aux signalements du client et à l’absence visible de résultats dans les interfaces. ## Cause de l'incident Une mise à jour de dépendances a entraîné l’utilisation d’un nouveau client HTTP par le composant chargé de communiquer avec le moteur de recherche. Les composants de recherche et d’analyse lui transmettaient encore une option de délai de connexion propre à l’ancien client HTTP. Cette option n’étant pas reconnue par le nouveau composant, les appels au moteur de recherche échouaient systématiquement. La correction a consisté à remplacer cette option par son équivalent compatible avec le nouveau client HTTP. Ce changement ne modifie pas le comportement fonctionnel du service : il maintient uniquement la limite prévue pour l’établissement de la connexion au moteur de recherche. ## Perte de données Aucune perte ni altération de données n’a été constatée. Pendant l’incident, les données sont restées enregistrées, mais les fonctionnalités affectées ne permettaient plus de les retrouver ou de les afficher correctement dans les résultats de recherche et d’analyse. Mesures de remédiation Les équipes techniques ont mis en œuvre les actions suivantes : * correction de l’option de connexion utilisée par les composants de recherche et d’analyse ; * déploiement et validation de la correction sur les différents composants concernés ; * vérification du rétablissement des résultats de recherche après la mise en production. -... # Post-mortem — Resultados de búsqueda no disponibles ## Summary On 17 August 2026, between 15:36 and 17:15 CEST, an incident affected the search service and certain analytics features. Durante este período, las consultas enviadas al motor de búsqueda fallaron y las interfaces afectadas no devolvieron resultados. El incidente fue detectado tras informes del cliente. Los equipos técnicos identificaron una incompatibilidad introducida durante la actualización de una dependencia de software y posteriormente desplegaron una solución. El servicio fue totalmente restaurado a las 17:15 CEST. ## Timeline of events * **17 agosto 2026 a las 15:36 CEST**: inicio del incidente. Las solicitudes enviadas al motor de búsqueda comenzaron a fallar. * **De 15:36 CEST**: la ausencia de resultados se hizo evidente en las interfaces afectadas y fue reportada por los clientes. * **16:26 CEST**: los equipos técnicos se encargaron del incidente e iniciaron investigaciones. * **17:08 CEST**: los equipos técnicos implementan una solución inicial. * **17:13 CEST**: el despliegue está completo y las pruebas confirman que el sistema funciona como se espera. * **17:15 CEST**: la solución se pone en producción y el incidente se declara resuelto. La duración total del incidente fue de **1 hora y 39 minutos**. ## Desafíos encontrados El incidente se debió a un efecto indirecto vinculado a un cambio de dependencia compartido entre varios componentes de software. El cambio no afectó directamente la lógica empresarial del motor de búsqueda. Se refería a una opción de conexión técnica que se había vuelto incompatible con el cliente HTTP ahora en uso. This incompatibility made the cause of the incident less immediately identifiable. Además, el incidente fue detectado por primera vez gracias a informes de usuarios y la ausencia visible de resultados en las interfaces de usuario. ## Causa del incidente Una actualización a las dependencias llevó al componente responsable de comunicarse con el motor de búsqueda utilizando un nuevo cliente HTTP. Los componentes de búsqueda y análisis todavía lo estaban pasando una opción de tiempo de conexión específica para el viejo cliente HTTP. Como esta opción no fue reconocida por el nuevo componente, las llamadas al motor de búsqueda fallaron sistemáticamente. La solución implica reemplazar esta opción por su equivalente, que es compatible con el nuevo cliente HTTP. Este cambio no altera el comportamiento funcional del servicio: simplemente mantiene el límite previsto para establecer la conexión con el motor de búsqueda. ## Data loss No se observó pérdida de datos ni corrupción. Durante el incidente, los datos permanecieron almacenados, pero las funcionalidades afectadas ya no pudieron recuperarlo o mostrarlo correctamente en los resultados de búsqueda y análisis. ## Medidas correctivas Los equipos técnicos aplicaron las siguientes medidas: * corrección de la opción de conexión utilizada por los componentes de búsqueda y análisis; * Despliegue y validación de la corrección en los distintos componentes interesados; * verificación de que los resultados de búsqueda se habían restaurado tras la puesta en marcha de la producción.

Traducido automáticamente desde la actualización oficial del incidente.

1. 9 de julio de 2026 a las 10:32 UTCinvestigating

   A la suite d'une opération de maintenance programmée qui était censée être invisible pour les utilisateurs, les moteurs de recherche et annuaires ne sont plus accessibles sur la plateforme. Nous avons identifié le problème et le corrigeons au plus vite. -... Tras una operación de mantenimiento programada que tenía por objeto ser invisible para los usuarios, los motores de búsqueda y los directorios ya no son accesibles en la plataforma. Hemos identificado el problema y lo estamos arreglando lo más rápido posible.

2. 9 de julio de 2026 a las 10:36 UTCidentified

   Se ha determinado la cuestión y se está aplicando una solución.

3. 9 de julio de 2026 a las 12:35 UTCresolved

   L'incident est résolu. -... El incidente se ha resuelto.

4. 10 de julio de 2026 a las 8:41 UTCpostmortem

   # Post-mortem — Incident Elasticsearch du 9 juillet 2026 ## Résumé Le 9 juillet 2026, un incident de production a affecté le service Elasticsearch utilisé par les fonctions de recherche et d’analytics. L’incident a entraîné une indisponibilité partielle du cluster Elasticsearch, avec un impact visible sur certaines fonctionnalités dépendantes de la recherche, notamment l’affichage de l’annuaire dans les sphères et l’accès aux interfaces dédiées de monitoring ou de recherche. L’incident a été détecté à partir de remontées support et de constats techniques indiquant que le cluster n’était plus accessible sur les URLs dédiées. Les équipes techniques sont intervenues pour diagnostiquer l’origine du problème, mettre à niveau le nœud concerné, redémarrer les services affectés et vérifier le retour à un état nominal. L’incident a été ouvert à 12h32 CEST sur la page de statut et clôturé à 14h35 CEST après rétablissement des serveurs. ## Chronologie des événements Le 9 juillet 2026, les événements suivants se sont produits : * **12h20 CEST** : les équipes techniques redémarrent l’un des nœuds Elasticsearch. * **12h22 CEST** : les équipes techniques confirment un incident de production : Elasticsearch ne redémarre pas correctement. * **12h28 CEST** : l’analyse montre un écart de version entre les nœuds du cluster. Deux nœuds sont en version plus récente, tandis que le nœud redémarré, qui jouait le rôle de master, est dans une version antérieure. Les équipes techniques procèdent alors à sa mise à jour. * **12h32 CEST** : une page d’incident est publiée sur la page de statut. * **14h35 CEST** : les serveurs sont à nouveau fonctionnels. Les vérifications étant concluantes, l’incident est considéré comme résolu et la page de statut est clôturée. ## Dificultades La principale difficulté a été liée à la settings particulière de la machine concernée. Cette machine hébergeait deux instances Elasticsearch distinctes correspondenant à deux services différents. La remise en cohérence de la version Elasticsearch devait donc être réalisée avec précaution sur les deux instances, sans écraser les settings, les données, les logs ou les sauvegardes propres à chaque service. Une autre difficulté a concerné le comportement du cluster au redémarrage. Le nœud concerné ne pouvait pas rejoindre le cluster, car sa version était inférieure à celle des autres nœuds déjà en fonctionnement. Les logs indiquaient explicitement qu’un nœud dans cette version ne pouvait pas rejoindre un cluster composé uniquement de nœuds dans une version plus récente. ## Cause de l'incident La cause de l’incident est un écart de version entre les nœuds du cluster Elasticsearch. Le nœud redémarré était dans une version antérieure à celle des deux autres nœuds. O, Elasticsearch ne permettait pas à ce nœud de rejoindre un cluster composé uniquement de nœuds dans une version plus récente. Le cluster s’est donc retrouvé dans un état non nominal après le redémarrage du nœud concerné, ce qui a entraîné l’indisponibilité des services dépendants. La cause racine n’est pas liée à une action individuelle, mais à un manque de formalisation et de sécurisation de la procédure de mise à jour et de redémarrage du cluster Elasticsearch, en particulier dans un contexte d’installation spécifique avec plusieurs instances sur une même machine. ## Perte de données Aucune perte de données n’a été identifiée à la suite de cet incident. L’incident a concerné la disponibilité du service Elasticsearch et la capacité des nœuds à fonctionner correctement ensemble au sein du cluster. Les données existantes n’ont pas été supprimées ni altérées. Mesures de remédiation Les équipes techniques ont procédé à la remise à niveau du nœud concerné afin d’aligner sa version Elasticsearch avec celle des autres nœuds du cluster. Les services Elasticsearch concernés ont ensuite été redémarrés progressivement, avec vérification des versions installées, des plugins nécessaires et des logs de démarrage. Les équipes techniques ont également vérifié le retour à un état nominal depuis les interfaces de monitoring des clusters concernés. À la suite de cet incident, plusieurs actions de remédiation sont prévues : * formaliser une procédure de mise à jour et de redémarrage du cluster Elasticsearch; * documenter les étapes spécifiques applicables aux machines hébergeant plusieurs instances Elasticsearch ; * préciser la procédure d’installation ou de réinstallation des plugins nécessaires après mise à jour ; * ajouter une étape de vérification explicite des versions avant redémarrage d’un nœud; * étudier la procédure de sortie propre d’un nœud du cluster afin de permettre l’élection d’un nouveau master sans interrupt ; * étudier une séparation plus forte des clusters, par exemple sur davantage de machines, afin de réduire les dépendances entre services et de limiter l’impact d’un incident similaire. Ces mesures doivent permettre de réduire le risque de réapparition d’un incident lié à un écart de version entre nœuds Elasticsearch et d’améliorer la résilience des opérations de maintenance. -... # Post-mortem — Elasticsearch incident of 9 July 2026 ## Summary On 9 July 2026, a production incident affected the Elasticsearch service used by the search and analytics functions. El incidente dio lugar a una falta parcial del grupo Elasticsearch, con un impacto notable en ciertas características dependientes de la búsqueda, en particular la visualización del directorio dentro de las esferas y el acceso a interfaces de monitoreo y búsqueda dedicadas. El incidente se detectó tras informes de apoyo y hallazgos técnicos que indican que el grupo ya no era accesible a través de las URL dedicadas. Los equipos técnicos intervinieron para diagnosticar la causa del problema, mejorar el nodo afectado, reiniciar los servicios afectados y verificar que el sistema había retornado a una operación normal. El incidente se registró a las 12:32 CEST en la página de estado y se cerró a las 14:35 CEST una vez restaurados los servidores. ## Timeline of events El 9 de julio de 2026 se produjeron los siguientes acontecimientos: * **12.20 CEST**: los equipos técnicos reiniciaron uno de los nodos de Elasticsearch. * **12.22 CEST**: los equipos técnicos confirmaron un incidente de producción: Elasticsearch no estaba reiniciando correctamente. * **12.28 CEST**: el análisis reveló una discrepancia de versión entre los nodos en el cluster. Dos nodos estaban ejecutando una versión más nueva, mientras que el nodo reiniciado, que estaba actuando como el maestro, estaba ejecutando una versión anterior. Los equipos técnicos procedieron a actualizarlo. * **12.32 CEST**: se publicó un aviso de incidentes en la página de estado. * **14:35 CEST**: Los servidores están operativos de nuevo. Como los cheques fueron concluyentes, el incidente se considera resuelto y la página de estado está cerrada. ## Desafíos encontrados El reto principal estaba vinculado a la configuración específica de la máquina en cuestión. Esta máquina acogió dos instancias de Elasticsearch separadas correspondientes a dos servicios diferentes. Por lo tanto, el proceso de sincronización de la versión Elasticsearch tuvo que llevarse a cabo con cuidado en ambos casos, sin sobreescribir las configuraciones, datos, registros o copias de seguridad específicas de cada servicio. Otra dificultad se refería al comportamiento del grupo al reiniciar. El nodo en cuestión no pudo unirse al grupo porque su versión era mayor que la de los otros nodos ya en funcionamiento. Los registros declararon explícitamente que un nodo que ejecuta esta versión no podía unirse a un clúster que consistía únicamente en nodos que ejecutaban una versión más reciente. ## Causa del incidente La causa del incidente fue una discrepancia de versión entre los nodos en el grupo Elasticsearch. El nodo reiniciado estaba ejecutando una versión más antigua que los otros dos nodos. Sin embargo, Elasticsearch no permitió que este nodo se uniera a un grupo compuesto únicamente por nodos que ejecutan una versión más reciente. Por consiguiente, el grupo terminó en un estado no autónomo después de que se reiniciara el nodo afectado, lo que dio lugar a la falta de servicios dependientes. La causa raíz no está vinculada a ninguna acción individual, sino a una falta de formalización y medidas de seguridad en el procedimiento para actualizar y reiniciar el cluster Elasticsearch, especialmente en el contexto de una instalación específica con múltiples instancias en la misma máquina. ## Data loss No data loss was identified as a result of this incident. El incidente afectó la disponibilidad del servicio Elasticsearch y la capacidad de los nodos para funcionar correctamente juntos dentro del grupo. Los datos existentes no fueron borrados ni alterados. ## Medidas correctivas Los equipos técnicos mejoraron el nodo afectado para ajustar su versión de Elasticsearch con la de los otros nodos del grupo. Los servicios de Elasticsearch afectados se reiniciaron gradualmente, al tiempo que verificaron las versiones instaladas, los plugins necesarios y los registros de inicio. Los equipos técnicos comprobaron también que el sistema había retornado a una operación normal a través de las interfaces de vigilancia para los grupos afectados. Following this incident, several remedial actions are planned: * formalizar un procedimiento para actualizar y reiniciar el cluster de Elasticsearch; * documentar los pasos específicos aplicables a las máquinas que acogen múltiples instancias de Elasticsearch; * aclarar el procedimiento para instalar o reinstalar los plugins necesarios después de una actualización; * añadir un paso de verificación de la versión explícita antes de reiniciar un nodo; * revisar el procedimiento para eliminar con gracia un nodo del clúster para permitir la elección de un nuevo maestro sin interrupción; * examinar la posibilidad de una mayor segregación en racimo, por ejemplo en más máquinas, a fin de reducir las dependencias entre los servicios y limitar el impacto de un incidente similar. Estas medidas deberían ayudar a reducir el riesgo de repetición de un incidente relacionado con una discrepancia de versión entre los nodos de Elasticsearch y mejorar la resiliencia de las operaciones de mantenimiento.

Traducido automáticamente desde la actualización oficial del incidente.

1. 7 de julio de 2026 a las 15:41 UTCinvestigating

   Certains utilisateurs rencontrent des déconnexions intempestives de leur compte. Nous investiguons le problème. --- Some users are experiencing unexpected logouts from their accounts. We are investigating the issue.

2. 7 de julio de 2026 a las 16:17 UTCmonitoring

   Le problème a été identifié, c'est dû à une mise à jour d'une librairie interne. Nous sommes revenus en arrière et la plateforme semble être revenue à la normale. --- The problem has been identified; it was caused by an update to an internal library. We have rolled back the update and the platform appears to be back to normal.

3. 7 de julio de 2026 a las 18:02 UTCresolved

   This incident has been resolved.

4. 8 de julio de 2026 a las 7:41 UTCpostmortem

   # Post-mortem — Déconnexions intempestives sur la plateforme ## Résumé Le 7 juillet 2026, la plateforme Whaller a rencontré un incident de production provoquant des déconnexions intempestives de certains utilisateurs. Le symptôme observé était le suivant : après authentification, l’interface semblait charger normalement, puis l’utilisateur était renvoyé vers la page de connexion. L’incident a été traité en priorité critique par les équipes techniques. Après investigation et déploiement d’un correctif, le service est revenu à un fonctionnement normal. ## Chronologie des événements Le 7 juillet 2026, en fin d’après-midi, les équipes techniques constatent un premier cas de déconnexion forcée après authentification. Peu après, un client confirme un comportement similaire : tentative de connexion, chargement de l’interface, puis retour automatique vers la page de connexion. Une première analyse oriente les investigations vers une évolution applicative récemment mise en production. Un correctif est préparé et déployé afin de revenir en arrière sur cette évolution. Un premier correctif est mis en production, sans résoudre complètement la situation. Les équipes techniques poursuivent alors l’analyse et identifient plus précisément le composant applicatif à l’origine du problème. Un second correctif est ensuite déployé. Après cette mise en production, les déconnexions intempestives ne sont plus constatées. ## Difficultés rencontrées L’incident a présenté plusieurs difficultés d’analyse. Le symptôme visible côté utilisateur était simple à décrire, mais sa cause pouvait provenir de plusieurs couches techniques différentes : gestion des sessions, évolution applicative récente, traitement de maintenance ou infrastructure de base de données. Les équipes techniques ont donc dû investiguer plusieurs pistes en parallèle avant d’isoler la cause réelle. Enfin, un premier correctif a été déployé sur la base de l’hypothèse la plus probable à ce moment-là, mais cette correction n’a pas suffi à résoudre durablement l’incident. Un second correctif a été nécessaire après identification plus précise du composant concerné. ## Cause de l’incident L’incident a été causé par une régression introduite dans une mise à jour récente d’un composant applicatif lié aux discussions. Cette régression provoquait, dans certaines conditions, une instabilité de la session utilisateur après authentification. L’utilisateur pouvait donc réussir à se connecter, puis être immédiatement renvoyé vers la page de connexion. ## Perte de données Aucune perte de données n’a été identifiée. L’incident a affecté l’accès à la plateforme et la stabilité des sessions utilisateur, mais il n’a pas entraîné de suppression, d’altération ou de corruption de données. ## Mesures de remédiation Les équipes techniques ont déployé un correctif permettant de revenir à une version stable du composant applicatif concerné. À la suite de cet incident, les mesures suivantes sont engagées : * analyse détaillée du composant applicatif concerné afin d’identifier précisément le changement ayant provoqué la régression ; * surveillance renforcée après déploiement des correctifs liés à l’authentification, aux discussions et aux mécanismes de reconnexion. Les équipes techniques restent mobilisées afin de prévenir la réapparition de ce type d’incident. --- # Post-mortem — Unexpected logouts on the platform ## Summary On 7 July 2026, the Whaller platform experienced a production incident causing some users to be unexpectedly logged out. The symptom observed was as follows: after logging in, the interface appeared to load normally, but the user was then redirected back to the login page. The incident was treated as a critical priority by the technical teams. Following an investigation and the deployment of a fix, the service returned to normal operation. ## Timeline of events On 7 July 2026, in the late afternoon, the technical teams noted the first instance of a forced logout following authentication. Shortly afterwards, a customer confirmed similar behaviour: an attempt to log in, the interface loading, then an automatic return to the login page. An initial analysis pointed the investigation towards an application update that had recently been put into production. A patch was prepared and deployed to roll back this update. An initial patch was put into production, but this did not fully resolve the issue. The technical teams then continued their analysis and identified more precisely the application component causing the problem. A second patch was then deployed. Following this deployment, the unexpected logouts were no longer observed. ## Challenges encountered The incident presented several challenges for analysis. The symptom visible to the user was simple to describe, but its cause could have stemmed from several different technical layers: session management, a recent application update, maintenance operations or the database infrastructure. The technical teams therefore had to investigate several lines of inquiry in parallel before isolating the actual cause. Finally, an initial fix was deployed based on the most likely hypothesis at that time, but this fix was not sufficient to resolve the incident permanently. A second fix was required following a more precise identification of the component concerned. ## Cause of the incident The incident was caused by a regression introduced in a recent update to an application component related to chat functionality. Under certain conditions, this regression caused user sessions to become unstable after authentication. As a result, users could successfully log in, only to be immediately redirected back to the login page. ## Data loss No data loss was identified. The incident affected access to the platform and the stability of user sessions, but did not result in any data being deleted, altered or corrupted. ## Remedial measures The technical teams deployed a patch to revert to a stable version of the affected application component. Following this incident, the following measures have been implemented: * a detailed analysis of the affected application component to precisely identify the change that caused the regression; * enhanced monitoring following the deployment of patches relating to authentication, chat and reconnection mechanisms. The technical teams remain on high alert to prevent this type of incident from recurring.

1. 23 de junio de 2026 a las 12:25 UTCinvestigating

   We are currently investigating this issue.

2. 23 de junio de 2026 a las 12:25 UTCinvestigating

   We are continuing to investigate this issue.

3. 23 de junio de 2026 a las 20:44 UTCresolved

   Nous avons identifié et corrigé le problème. La plateforme est de nouveau accessible. Nous produirons un post mortem dans les heures suivantes. We have identified and resolved the issue. The platform is now accessible again. We will be publishing a post-mortem in the next few hours.

4. 23 de junio de 2026 a las 21:34 UTCpostmortem

   # Post-mortem — Incident de production du 23 juin 2026 ## Résumé Le 23 juin 2026, un incident de production a rendu la plateforme principale ainsi que les accès associés indisponibles pour les utilisateurs. L’incident a été détecté à la suite d’alertes de supervision indiquant une indisponibilité des services. Les équipes techniques ont immédiatement engagé les premières actions de diagnostic et de redémarrage sur les composants applicatifs et d’infrastructure concernés. L’analyse a montré que le mécanisme de vérification de disponibilité du répartiteur de charge ne parvenait plus à valider correctement les frontaux applicatifs. Ceux-ci répondaient avec un code HTTP 403 aux requêtes de contrôle, ce qui les faisait considérer comme indisponibles, entraînant l’interruption du service. Le service a été rétabli après ajustement temporaire de la validation côté infrastructure, puis correction de la cause ayant entraîné ces réponses 403. ## Chronologie des événements Le 23 juin 2026 en début d’après-midi, les alertes de supervision ont signalé l’indisponibilité de la plateforme principale et des accès associés. Les équipes techniques ont procédé aux premières vérifications et redémarrages des composants applicatifs concernés, notamment les services web et certains serveurs frontaux. Un ticket prioritaire a été ouvert auprès de notre fournisseur d’infrastructure afin d’analyser le comportement du répartiteur de charge et des composants réseau associés. Les investigations ont ensuite porté sur l’état des pools HTTPS du répartiteur de charge, les composants d’infrastructure réseau, les serveurs frontaux et les journaux applicatifs. En fin de journée, une cellule de crise a été ouverte avec le fournisseur d’infrastructure afin d’accélérer l’analyse. Les vérifications croisées ont permis d’identifier que les requêtes de contrôle de disponibilité recevaient des réponses HTTP 403, ce qui empêchait le répartiteur de charge de considérer les frontaux comme disponibles. Une mesure temporaire a été appliquée sur la configuration du répartiteur de charge afin de rétablir le service. Après rétablissement, les équipes techniques ont poursuivi l’analyse et confirmé qu’une adresse interne utilisée pour les contrôles de disponibilité avait été bloquée. Le blocage a été levé, les réponses attendues sont redevenues conformes, puis la mesure temporaire a été supprimée. ## Difficultés rencontrées L’identification de la cause a été rendue difficile par le fait que plusieurs couches techniques pouvaient être en cause : serveurs applicatifs, configuration web, répartiteur de charge, composants réseau et infrastructure d’hébergement. Les premiers symptômes laissaient penser à un dysfonctionnement du répartiteur de charge ou de la couche réseau, car les frontaux étaient considérés comme indisponibles alors que certains services applicatifs continuaient à répondre localement. La corrélation entre le blocage d’une adresse interne et l’incident n’a été établie que tardivement, après recoupement des journaux applicatifs et des contrôles effectués pendant la cellule de crise. L’analyse a également nécessité l’intervention de plusieurs niveaux de support côté fournisseur d’infrastructure, ce qui a rallongé le temps de diagnostic. ## Cause de l’incident La cause de l’incident est le blocage d’une adresse interne utilisée par le mécanisme de contrôle de disponibilité du répartiteur de charge. À la suite de ce blocage, les requêtes de contrôle adressées aux serveurs frontaux recevaient des réponses HTTP 403 au lieu des réponses attendues. Le répartiteur de charge a alors considéré les frontaux comme indisponibles et n’a plus correctement distribué le trafic vers les services applicatifs. Cette situation a entraîné l’indisponibilité de la plateforme pour les utilisateurs. ## Perte de données Aucune perte de données n’a été constatée. L’incident a concerné l’accessibilité au service, mais n’a pas affecté l’intégrité des données stockées. ## Mesures de remédiation Les équipes techniques ont levé le blocage de l’adresse interne utilisée par les contrôles de disponibilité. Les équipes techniques ont vérifié le retour à un comportement nominal des serveurs frontaux et du répartiteur de charge. Les équipes techniques ont supprimé la mesure temporaire appliquée pendant l’incident une fois la cause corrigée. Les équipes techniques vont renforcer la supervision des contrôles de disponibilité afin de détecter plus rapidement les cas où un composant est considéré indisponible à cause d’un rejet applicatif ou réseau. Les équipes techniques vont revoir les règles de filtrage internes afin de mieux identifier les adresses techniques nécessaires au bon fonctionnement de l’infrastructure. Les équipes techniques vont documenter plus précisément les dépendances entre les contrôles de disponibilité, les serveurs frontaux et les règles de sécurité internes, afin de réduire le temps de diagnostic en cas d’incident similaire. Les équipes techniques vont améliorer les procédures d’escalade et de diagnostic avec le fournisseur d’infrastructure afin d’accélérer l’analyse lorsque plusieurs couches techniques sont susceptibles d’être impliquées. --- # Post-mortem — Production incident of 23 June 2026 ## Summary On 23 June 2026, a production incident rendered the main platform and associated access points unavailable to users. The incident was detected following monitoring alerts indicating that services were unavailable. The technical teams immediately began initial diagnostic checks and restarted the affected application and infrastructure components. Analysis revealed that the load balancer’s availability check mechanism was no longer able to correctly validate the application front-ends. These were responding to check requests with an HTTP 403 code, which caused them to be treated as unavailable, resulting in the service interruption. The service was restored following a temporary adjustment to the infrastructure-side validation, followed by the correction of the cause leading to these 403 responses. ## Timeline of events In the early afternoon of 23 June 2026, monitoring alerts indicated that the main platform and associated access points were unavailable. The technical teams carried out initial checks and restarted the affected application components, notably the web services and certain front-end servers. A high-priority ticket was raised with our infrastructure provider to analyse the behaviour of the load balancer and associated network components. Investigations then focused on the status of the load balancer’s HTTPS pools, the network infrastructure components, the front-end servers and the application logs. At the end of the day, a crisis task force was set up with the infrastructure provider to speed up the analysis. Cross-checks revealed that availability check requests were receiving HTTP 403 responses, which prevented the load balancer from recognising the front-end servers as available. A temporary fix was applied to the load balancer’s configuration to restore the service. Once service had been restored, the technical teams continued their analysis and confirmed that an internal address used for availability checks had been blocked. The block was lifted, the expected responses returned to normal, and the temporary fix was then removed. ## Challenges encountered Identifying the cause was made difficult by the fact that several technical layers could have been involved: application servers, web configuration, load balancer, network components and hosting infrastructure. The initial symptoms suggested a malfunction in the load balancer or the network layer, as the front-end servers were considered unavailable whilst some application services continued to respond locally. The link between the blocking of an internal address and the incident was only established at a late stage, after cross-referencing application logs and checks carried out during the crisis response. The analysis also required the involvement of several levels of support from the infrastructure provider, which prolonged the diagnosis time. ## Cause of the incident The cause of the incident was the blocking of an internal address used by the load balancer’s availability monitoring mechanism. As a result of this blocking, monitoring requests sent to the front-end servers received HTTP 403 responses instead of the expected responses. The load balancer then deemed the front-end servers to be unavailable and ceased to distribute traffic correctly to the application services. This situation resulted in the platform being unavailable to users. ## Data loss No data loss was observed. The incident affected access to the service but did not affect the integrity of the stored data. ## Remedial measures The technical teams unblocked the internal address used by the availability checks. The technical teams verified that the front-end servers and the load balancer had returned to normal operation. The technical teams removed the temporary measure applied during the incident once the cause had been rectified. The technical teams will strengthen the monitoring of availability checks in order to detect more quickly instances where a component is deemed unavailable due to an application or network rejection. The technical teams will review the internal filtering rules in order to better identify the technical addresses necessary for the infrastructure to function correctly. The technical teams will document the dependencies between availability checks, front-end servers and internal security rules in greater detail, in order to reduce the time taken to diagnose a similar incident. The technical teams will improve escalation and diagnostic procedures with the infrastructure provider in order to speed up analysis when several technical layers are likely to be involved.

1. 13 de mayo de 2026 a las 6:41 UTCinvestigating

   We are currently investigating this issue.

2. 13 de mayo de 2026 a las 6:56 UTCresolved

   This incident has been resolved.

1. 12 de mayo de 2026 a las 14:49 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 12 de mayo de 2026 a las 15:08 UTCidentified

   We are continuing to work on a fix for this issue.

3. 12 de mayo de 2026 a las 15:27 UTCresolved

   This incident has been resolved.

4. 13 de mayo de 2026 a las 9:07 UTCpostmortem

   ## Résumé Entre 15h41 et 15h55, plusieurs services de la plateforme sont devenus inaccessibles \(Discussions, accès aux fichiers\). Une perturbation a également affecté les box de fichiers, rendant impossible la navigation dans l'arborescence et la visualisation ou modification des fichiers. Les équipes techniques ont diagnostiqué et résolu l'ensemble des problèmes entre 16h49 et 17h27. ## Chronologie des événements * **15:41** — Déclenchement des premières alertes de supervision * **15:55** — Retour à la normale pour les services supervisés \(alertes OK\). * **~16h** — Remontées clients signalant l'inaccessibilité des box de fichiers \(navigation dans les dossiers, visualisation et modification de fichiers\). * **16:33** — Prise en compte officielle de l'incident par les équipes techniques. * **16:49** — Ouverture d'une page de statut. Début des actions correctives * **~17h15** — Services de nouveau pleinement opérationnels. * **17:27** — Fermeture de la page de statut. Clôture des tickets clients. ## Difficultés rencontrées * L'incident a touché plusieurs composants indépendants, ce qui a nécessité un diagnostic multi-couches. * La cause principale n'était pas immédiatement visible et a dû être corrélée avec les données de supervision. * Une erreur de permissions sur un fichier système a bloqué le redémarrage du moteur de recherche et a dû être corrigée manuellement avant de pouvoir rétablir le service. ## Cause de l'incident L'incident a été provoqué par le redémarrage inopiné de plusieurs serveurs d'infrastructure. ## Perte de données Aucune perte de données n'a été constatée. L'incident était de nature disponibilité uniquement.

1. 29 de abril de 2026 a las 4:33 UTCinvestigating

   Un incident est actuellement en cours sur Whaller365. L’affichage et l’édition en ligne des fichiers Office sont indisponibles ou fortement perturbés. Les équipes techniques sont mobilisées pour identifier l’origine du problème et rétablir le service dans les meilleurs délais. Les autres fonctionnalités de Whaller restent accessibles. Nous publierons une mise à jour dès que nous disposerons de nouveaux éléments.

2. 29 de abril de 2026 a las 5:33 UTCidentified

   La cause de l'incident est identifiée. C'est une cause logicielle : une mise à jour hier soir a provoqué un dysfonctionnement sur OnlyOffice. La correction est en cours de déploiement.

3. 29 de abril de 2026 a las 5:40 UTCresolved

   La correction logicielle a été passée en production. Nous vous prions de bien vouloir nous excuser pour la gêne occasionnée.

4. 29 de abril de 2026 a las 5:44 UTCpostmortem

   ## Résumé Le 29 avril 2026 au matin, un incident de production a rendu indisponible l’affichage et l’édition des fichiers Office dans les espaces de stockage. Les utilisateurs ne pouvaient plus ouvrir leurs documents. L’incident a été détecté suite à un signalement utilisateur. Les équipes techniques ont rapidement identifié une régression introduite lors d’une mise en production la veille et ont déployé un correctif dans la matinée. Le service a été rétabli en moins de deux heures après détection. ## Chronologie des événements * **28 avril 2026 \(soir\)** : mise en production d’une version introduisant une régression. * **29 avril 2026 06:30** : signalement de l’incident par un utilisateur. * **07:07** : identification d’une cause probable d’origine logicielle par les équipes techniques. * **07:10** : création d’un ticket de suivi. * **07:28** : déploiement d’un correctif. * **07:38** : mise en production du correctif et validation du retour à la normale. ## Difficultés rencontrées * L’incident n’a pas été détecté automatiquement, mais uniquement via un signalement utilisateur. * La régression ne concernait qu’un cas spécifique non couvert par les mécanismes de supervision existants. * Le comportement en cause dépendait d’une interaction subtile entre le client et le serveur \(gestion d’un paramètre vide\), rendant l’identification initiale moins immédiate. ## Cause de l'incident L’incident est dû à une régression introduite lors d’une mise en production, liée à une évolution fonctionnelle. Un paramètre transmis par le client était interprété différemment par le serveur selon qu’il était vide ou nul. Dans certains cas, une valeur vide empêchait la résolution correcte de la version du document, entraînant la génération d’une configuration invalide pour le service d’édition Office, et donc l’impossibilité d’afficher les fichiers. ## Perte de données Aucune perte de données n’est à signaler. Les documents n’ont pas été altérés, et l’incident n’a impacté que leur affichage et leur édition temporaire. ## Mesures de remédiation * Correction immédiate du comportement côté serveur pour normaliser les paramètres reçus. * Déploiement d’un correctif en production dans les plus brefs délais. * Renforcement des contrôles sur les cas limites liés aux paramètres transmis par le client. * Amélioration des scénarios de tests pour couvrir ce type de situation. * Réflexion en cours sur l’amélioration des mécanismes de détection proactive afin de réduire le délai de détection en cas de régression similaire.

1. 28 de abril de 2026 a las 6:35 UTCinvestigating

   We are currently investigating this issue.

2. 28 de abril de 2026 a las 7:19 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 28 de abril de 2026 a las 7:41 UTCresolved

   This incident has been resolved.

4. 30 de abril de 2026 a las 6:36 UTCpostmortem

   **Résumé** Le 28 avril 2026, entre 08h17 et 09h18, le service Whaller365 a été indisponible suite à la suppression automatique de la configuration Nginx lors d'une mise à jour système non supervisée. La durée totale d'indisponibilité a été d'environ 1 heure. **Chronologie des événements** * **08h17** Une mise à jour automatique du paquet `` `nginx-common` `` efface la configuration Nginx, dont les fichiers spécifiques à OnlyOffice. Nginx tente de redémarrer et échoue immédiatement. * **08h18** Les équipes techniques reçoivent une alerte signalant l'indisponibilité du service. * **08h36** Les équipes techniques confirment l'origine de l'incident et engagent la procédure de restauration. * **09h18** La configuration Nginx est intégralement reconstruite et le service OnlyOffice est rétabli. **Difficultés rencontrées** La configuration Nginx d'OnlyOffice repose sur des fichiers et liens symboliques créés manuellement, en dehors du gestionnaire de paquets. Ces éléments n'ont pas été recréés automatiquement lors de la mise à jour, ce qui a rendu la restauration entièrement manuelle. La tentative de régénération automatique via les outils de reconfiguration OnlyOffice n'a pas suffi à restaurer l'ensemble des fichiers manquants, allongeant la durée d'intervention. **Cause de l'incident** À 08h17, le système de mise à jour automatique \(`` `unattended-upgrades` ``\) a appliqué une mise à jour du paquet `` `nginx-common` ``. Durant ce processus, dpkg a réinitialisé le répertoire de configuration `` `/etc/nginx/` ``, supprimant le fichier `` `nginx.conf` `` ainsi que les liens symboliques nécessaires au fonctionnement d'OnlyOffice. Ces fichiers, créés manuellement et non gérés par dpkg, n'ont pas été préservés. Nginx n'a pas pu redémarrer après la mise à jour, rendant OnlyOffice inaccessible. **Perte de données** Aucune perte de données utilisateur n'est à déplorer. Seule la configuration système du serveur a été affectée. **Mesures de remédiation** Reconstruction complète de la configuration Nginx et rétablissement du service

1. 24 de noviembre de 2025 a las 8:36 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 24 de noviembre de 2025 a las 20:15 UTCresolved

   This incident has been resolved.

1. 21 de noviembre de 2025 a las 7:56 UTCinvestigating

   Nous rencontrons actuellement des difficultés techniques affectant l'authentification et la navigation sur la plateforme. Nos équipes techniques travaillent activement à la résolution de ce problème. Nous vous tiendrons informés de l'avancement et vous présenterons nos excuses pour la gêne occasionnée.

2. 21 de noviembre de 2025 a las 8:23 UTCidentified

   Nous avons identifié le problème qui est lié aux serveurs de bases de données, nous corrigeons le problème.

3. 21 de noviembre de 2025 a las 8:24 UTCmonitoring

   Le service est revenu à la normale, nous surveillons les services et nous vous ferons part d'un post mortem détaillé.

4. 21 de noviembre de 2025 a las 8:30 UTCresolved

   This incident has been resolved.

1. 13 de noviembre de 2025 a las 8:30 UTCresolved

   Suite à une panne technique sur un disque hébergeant des données chez notre hébergeur, les accès à des fichiers ont pu être perturbés pour certains utilisateurs. L'incident a été résolu une fois le disque remis en service. L'incident chez notre hébergeur est disponible ici : https://hosted-private-cloud.status-ovhcloud.com/incidents/9j5l7jt7zgx8

1. 4 de noviembre de 2025 a las 10:52 UTCresolved

   Le 4 novembre 2025, une anomalie matérielle sur un hôte VMware hébergé chez OVHCloud a entraîné une série d’alertes de supervision et une indisponibilité sur une partie de l’infrastructure. L’incident a été résolu après la mise en service d’un hôte de remplacement par OVHCloud. Chronologie des événements 10:16 : Les équipes techniques identifient, à la suite d’alertes envoyées par le système de supervision, qu’un hôte est en erreur, provoquant des alertes en continu. 10:22 : La direction technique est informée de la situation. 10:23 : OVH annonce la détection d’une anomalie matérielle sur l’hôte concerné et prévoit la livraison d’un hôte de remplacement. 11:13 : L’hôte de remplacement est livré par OVH. 11:15 : Fin de l’incident. Cause de l’incident L’incident a été causé par une anomalie matérielle sur un hôte VMware hébergé chez OVH, entraînant un comportement défaillant du nœud jusqu’à sa substitution. Perte de données Aucune perte de données n’a été constatée. Les services ont pu avoir des indisponibilités pendant la durée de l’incident.

1. 18 de septiembre de 2025 a las 7:35 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 18 de septiembre de 2025 a las 9:45 UTCresolved

   This incident has been resolved.

1. 1 de septiembre de 2025 a las 16:20 UTCresolved

   Le 1er septembre 2025 entre 10:12 et 10:39, les utilisateurs d’une marque blanche hébergée sur Whaller ont pu connaître des problèmes d’authentification. Cela était lié à une indisponibilité du service de connexion suite à une perte de liaison avec notre cluster de données. Une fois la liaison rétablie, le service de connexion était de nouveau fonctionnel.

1. 20 de agosto de 2025 a las 16:09 UTCresolved

   Afin d'ajouter une couche supplémentaire de sécurité sur l'authentification via SSO, nous avons effectué une mise à jour de l'application. Une erreur de configuration a rendu indisponible l'authentification pendant 30 minutes de 15:00 à 15:30, heure à laquelle nous avons déployé un correctif.

1. 19 de agosto de 2025 a las 7:49 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 19 de agosto de 2025 a las 12:53 UTCresolved

   This incident has been resolved.

1. 18 de julio de 2025 a las 10:35 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 18 de julio de 2025 a las 10:48 UTCresolved

   This incident has been resolved.

1. 19 de junio de 2025 a las 8:09 UTCinvestigating

   We are currently investigating this issue.

2. 19 de junio de 2025 a las 8:49 UTCresolved

   This incident has been resolved.

3. 19 de junio de 2025 a las 14:52 UTCpostmortem

   ## Résumé Un incident de production a été détecté le 19 juin 2025, entraînant l’absence de marquage en non lus des nouveaux messages et commentaires \(puces et texte en gras\). L'incident a été résolu après identification de la cause et déploiement d'un correctif. ## Chronologie des événements * 19/06/2025 10:03 : Détection de l’incident. * 10:05 : Confirmation de l'incident. * 10:40 : Identification de la cause \(problème de routage du “queueing” interne\) * 10:47 : Déploiement et mise en prod du correctif * 11:50 : Fin du traitement des données en attente, fin de l'incident. ## Difficultés rencontrées * Gestion des files d'attente saturées et impact sur les services dépendants. ## Cause de l'incident La cause de l'incident a été identifiée comme étant un problème de routage du système de “queueing” interne \(traitement des instructions asynchrones\). ## Perte de données Aucune perte de données n'a été rapportée durant cet incident. ## Mesures de remédiation * Correctif déployé : Une nouvelle version a été déployée pour corriger le problème. * Surveillance renforcée : Les équipes techniques ont renforcé la surveillance des files d'attente pour détecter rapidement tout comportement anormal. * Amélioration des processus : Révision des processus de déploiement pour éviter des incidents similaires à l'avenir.

1. 2 de junio de 2025 a las 15:07 UTCresolved

   Certaines pages ont été inaccessibles pendant quelques instants suite à une modification de la configuration des notifications. Vous pouvez maintenant choisir si vous désirez recevoir le son des notifications du service Discussions.

1. 23 de mayo de 2025 a las 10:20 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 23 de mayo de 2025 a las 11:00 UTCresolved

   This incident has been resolved.