Whaller 장애 기록

1. 2026년 8월 19일 AM 8:02 UTCresolved

   A la suite d'une mise en production, les moteurs de recherche et annuaires ne sont plus 접근 가능한 sur la plateforme. 노우스 avons identifié le problème et le corrigeons au plus vite. --- --- Go-live, 검색 엔진 및 감독은 플랫폼에 더 이상 접근 할 수 없습니다. 우리는 문제를 확인하고 가능한 한 빨리 수정.

2. 2026년 8월 19일 AM 8:09 UTCpostmortem

   # Postmortem - Indisponibilité des résultats de recherche ## Résumé에 대하여 Le 17 août 2026, entre 15 h 36 et 17 h 15 CEST, 영향을 미칩니다 le service de recherche et certaines fonctionnalités d'analyse. Durant cette période, les requêtes adressées au moteur de recherche échouaient et les 인터페이스 관심사 ne retournaient aucun résultat. L’incident a été détecté à la suite de signalements du client. été détecté à la suite de signalements du client. été détecté à la suite de signalements du client. été détecté à la suite de signalements du client. été détecté à la suite de signalements du client. ététecté détectétectétecté à à la suite de signalements du client. étététététectétététectétectétectétectétététectétectététététété à à à à à à à à à à étectétectétectétectétectétectétectétectétectétectétectétectétectétectétectétét Les équipes 기술 ont identifié une incompatibilité introduite lor de la mise à jour d'une dépendance logicielle, puis déployé une 보정. Le 서비스 été entièrement rétabli à 17 h 15 CEST. ## Chronologie 데 événements * **17 août 2026 à 15 h 36 CEST** : début de l'incident. Les requêtes adressées au moteur de recherche commencent à échouer. * ** À partir de 15 h 36 CEST** : l’absence de résultats devient 눈에 띄는 dans les interfaces Attentionées et fait l’objet de signalements du client. * **16 h 26 CEST** : les équipes 기술 prennent en 충전 l'incident et lancent les 조사. * **17 h 08 CEST** : les équipes 기술 déploient une première 보정. * **17 h 13 CEST** : le déploiement est terminé et les test checkent le rétablissement du fonctionnement attendu. * **17 h 15 CEST** : 라 보정 est mise en production et l'incident est déclaré résolu. La durée totale de l'incident a été de ** 1 치료사 39 분 **. ## Difficultés 렌콘트레 L’incident résultait d’un effet indirect lié à l’évolution d’une dépendance partagée entre plusieurs 작곡가 논리적. 라 수정 n’affectait pas directement la logique métier du moteur de recherche. Elle Attentionait une 옵션 기술 de connexion devenue incompatible avec le 클라이언트 HTTP désormais utilisé. Cette incompatibilité a rendu l'origine de l'incident moins immédiatement 식별 가능. Par ailleurs, l’incident a d’abord été détecté grâce aux signalements du client et à l’absence 눈에 보이는 de résultats dans les 인터페이스. ## 원인 de l'incident Une mise à jour de dépendances a entraîné l'utilisation d'un nouveau 클라이언트 HTTP par le composant chargé de communiquer avec le moteur de recherche. 작곡가 de recherche et d'analyse lui transmettaient encore une option de délai de connexion propre à l'ancien 클라이언트 HTTP. Cette 옵션 n'étant pas reconnue par le nouveau 작곡가, les appels au moteur de recherche échouaient systématiquement. à remplacer cette 옵션 파 아들 équivalent compatible avec le nouveau client HTTP. CE 변경 ne modifie pas le comportement fonctionnel du service : il maintient uniquement la limite prévue 부 l'établissement de la connexion au moteur de recherche. ## 퍼테 드 données Aucune perte ni altération de données n'a été constatée입니다. 펜던트 l'incident, les données sont restées enregistrées, mais les fonctionnalités affectées ne permettaient plus de les retrouver ou de les afficher 교정 dans les résultats de rechercheche et d'analyse. ## Mesures de 재조합 Les équipes 기술 ont mis en œuvre les 작업 suivantes : * 보정 de l’option de connexion utilisée par les 작곡가 de recherche et d'analyse; * déploiement et validation de la Correction sur les différents 작곡가 관심사; * vérification du rétablissement des résultats de recherche après la mise en 생산. --- --- # Post-mortem - 검색 결과 사용할 수 없음 ## 요약 에 17 8월 2026, 사이 15:36 과 17:15 CEST, 사건에 영향을 미치는 검색 서비스 및 특정 분석 기능. 이 기간 동안 검색 엔진이 실패하고 영향을받는 인터페이스가 결과가 반환되지 않았습니다. 사건은 클라이언트에서 다음 보고서를 발견했습니다. 기술 팀은 소프트웨어 의존성 업데이트 중 도입 된 호환성을 확인하고 나중에 수정을 배포했습니다. 서비스는 17:15 CEST에 완전히 복원되었습니다. ## 행사 일정 ***17 8월 2026일 at 15:36 CEST**: 사건 시작. 검색 엔진에 보낸 요청은 실패하기 시작합니다. * ** 15:36 CEST**: 결과의 부재는 영향을받은 인터페이스에서 명백하고 고객이보고되었습니다. * **16:26 CEST**: 기술 팀은 사고를 담당하고 조사를 시작했다. * **17:08 CEST**: 기술 팀은 초기 수정을 배포합니다. * **17:13 CEST**: 배포 완료 및 테스트는 시스템이 예상대로 함수를 확인합니다. * **17:15 CEST**: 수정은 생산에 넣고 사고가 해결됩니다. 사건의 총 기간은 ** 1 시간 및 39 분 **입니다. ## 도전 이 사건은 몇몇 소프트웨어 성분 사이에서 공유된 의존성의 변화에 연결된 간접적인 효력에서 유래했습니다. 변화는 직접 검색 엔진의 사업 논리에 영향을 미치지 않았다. 이제 HTTP 클라이언트와 호환되지 않은 기술 연결 옵션에 대해 우려. 이 호환성은 사건의 원인을 즉시 식별 할 수 있습니다. 또한, 사건은 사용자가보고하고 사용자 인터페이스의 결과의 눈에 띄는 부재 덕분에 처음으로 발견되었습니다. ## 사건의 원인 새로운 HTTP 클라이언트를 사용하여 검색 엔진과 통신 할 수있는 구성 요소에 의존하는 업데이트. 검색 및 분석 구성 요소는 여전히 오래된 HTTP 클라이언트에 특정 연결 타임 아웃 옵션을 전달했다. 이 옵션은 새로운 구성 요소에 의해 인식되지 않았기 때문에 검색 엔진을 지속적으로 실패합니다. 이 옵션을 새로운 HTTP 클라이언트와 호환되는 것과 동일하게 대체하는 수정. 이 변경은 서비스의 기능적인 행동을 변경하지 않습니다: 그것은 단지 검색 엔진에 연결을 설정하기위한 의도한 한계를 유지합니다. ## 데이터 손실 데이터 손실 또는 손상이 관찰되지 않았습니다. 사건 중에는 데이터가 저장되었지만 영향을받는 기능은 더 이상 검색 및 분석 결과에 올바르게 표시 할 수 없습니다. ## 제약 측정 기술 팀은 다음과 같은 작업을 구현합니다. * 검색 및 분석 구성 요소에 의해 사용되는 연결 옵션의 수정; * 다양한 구성 요소에 대한 보정의 배포 및 검증; * 검색 결과 확인은 생산 롤 아웃 뒤에 복원되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 9일 AM 10:32 UTCinvestigating

   A la suite d'une opération de maintenance programmée qui était censée être invisible pour les utilisateurs, les moteurs de recherche et annuaires ne sont plus accessibles sur la plateforme. Nous avons identifié le problème et le corrigeons au plus vite. --- Following a scheduled maintenance operation that was intended to be invisible to users, search engines and directories are no longer accessible on the platform. We have identified the problem and are fixing it as quickly as possible.

2. 2026년 7월 9일 AM 10:36 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2026년 7월 9일 PM 12:35 UTCresolved

   L'incident est résolu. --- The incident has been resolved.

4. 2026년 7월 10일 AM 8:41 UTCpostmortem

   # Post-mortem — Incident Elasticsearch du 9 juillet 2026 ## Résumé Le 9 juillet 2026, un incident de production a affecté le service Elasticsearch utilisé par les fonctions de recherche et d’analytics. L’incident a entraîné une indisponibilité partielle du cluster Elasticsearch, avec un impact visible sur certaines fonctionnalités dépendantes de la recherche, notamment l’affichage de l’annuaire dans les sphères et l’accès aux interfaces dédiées de monitoring ou de recherche. L’incident a été détecté à partir de remontées support et de constats techniques indiquant que le cluster n’était plus accessible sur les URLs dédiées. Les équipes techniques sont intervenues pour diagnostiquer l’origine du problème, mettre à niveau le nœud concerné, redémarrer les services affectés et vérifier le retour à un état nominal. L’incident a été ouvert à 12h32 CEST sur la page de statut et clôturé à 14h35 CEST après rétablissement des serveurs. ## Chronologie des événements Le 9 juillet 2026, les événements suivants se sont produits : * **12h20 CEST** : les équipes techniques redémarrent l’un des nœuds Elasticsearch. * **12h22 CEST** : les équipes techniques confirment un incident de production : Elasticsearch ne redémarre pas correctement. * **12h28 CEST** : l’analyse montre un écart de version entre les nœuds du cluster. Deux nœuds sont en version plus récente, tandis que le nœud redémarré, qui jouait le rôle de master, est dans une version antérieure. Les équipes techniques procèdent alors à sa mise à jour. * **12h32 CEST** : une page d’incident est publiée sur la page de statut. * **14h35 CEST** : les serveurs sont à nouveau fonctionnels. Les vérifications étant concluantes, l’incident est considéré comme résolu et la page de statut est clôturée. ## Difficultés rencontrées La principale difficulté a été liée à la configuration particulière de la machine concernée. Cette machine hébergeait deux instances Elasticsearch distinctes correspondant à deux services différents. La remise en cohérence de la version Elasticsearch devait donc être réalisée avec précaution sur les deux instances, sans écraser les configurations, les données, les logs ou les sauvegardes propres à chaque service. Une autre difficulté a concerné le comportement du cluster au redémarrage. Le nœud concerné ne pouvait pas rejoindre le cluster, car sa version était inférieure à celle des autres nœuds déjà en fonctionnement. Les logs indiquaient explicitement qu’un nœud dans cette version ne pouvait pas rejoindre un cluster composé uniquement de nœuds dans une version plus récente. ## Cause de l'incident La cause de l’incident est un écart de version entre les nœuds du cluster Elasticsearch. Le nœud redémarré était dans une version antérieure à celle des deux autres nœuds. Or, Elasticsearch ne permettait pas à ce nœud de rejoindre un cluster composé uniquement de nœuds dans une version plus récente. Le cluster s’est donc retrouvé dans un état non nominal après le redémarrage du nœud concerné, ce qui a entraîné l’indisponibilité des services dépendants. La cause racine n’est pas liée à une action individuelle, mais à un manque de formalisation et de sécurisation de la procédure de mise à jour et de redémarrage du cluster Elasticsearch, en particulier dans un contexte d’installation spécifique avec plusieurs instances sur une même machine. ## Perte de données Aucune perte de données n’a été identifiée à la suite de cet incident. L’incident a concerné la disponibilité du service Elasticsearch et la capacité des nœuds à fonctionner correctement ensemble au sein du cluster. Les données existantes n’ont pas été supprimées ni altérées. ## Mesures de remédiation Les équipes techniques ont procédé à la remise à niveau du nœud concerné afin d’aligner sa version Elasticsearch avec celle des autres nœuds du cluster. Les services Elasticsearch concernés ont ensuite été redémarrés progressivement, avec vérification des versions installées, des plugins nécessaires et des logs de démarrage. Les équipes techniques ont également vérifié le retour à un état nominal depuis les interfaces de monitoring des clusters concernés. À la suite de cet incident, plusieurs actions de remédiation sont prévues : * formaliser une procédure de mise à jour et de redémarrage du cluster Elasticsearch ; * documenter les étapes spécifiques applicables aux machines hébergeant plusieurs instances Elasticsearch ; * préciser la procédure d’installation ou de réinstallation des plugins nécessaires après mise à jour ; * ajouter une étape de vérification explicite des versions avant redémarrage d’un nœud ; * étudier la procédure de sortie propre d’un nœud du cluster afin de permettre l’élection d’un nouveau master sans interruption ; * étudier une séparation plus forte des clusters, par exemple sur davantage de machines, afin de réduire les dépendances entre services et de limiter l’impact d’un incident similaire. Ces mesures doivent permettre de réduire le risque de réapparition d’un incident lié à un écart de version entre nœuds Elasticsearch et d’améliorer la résilience des opérations de maintenance. --- # Post-mortem — Elasticsearch incident of 9 July 2026 ## Summary On 9 July 2026, a production incident affected the Elasticsearch service used by the search and analytics functions. The incident resulted in partial unavailability of the Elasticsearch cluster, with a noticeable impact on certain search-dependent features, notably the display of the directory within the spheres and access to dedicated monitoring and search interfaces. The incident was detected following support reports and technical findings indicating that the cluster was no longer accessible via the dedicated URLs. The technical teams intervened to diagnose the cause of the problem, upgrade the affected node, restart the affected services and verify that the system had returned to normal operation. The incident was logged at 12:32 CEST on the status page and closed at 14:35 CEST once the servers had been restored. ## Timeline of events On 9 July 2026, the following events occurred: * **12.20 CEST**: the technical teams restarted one of the Elasticsearch nodes. * **12.22 CEST**: the technical teams confirmed a production incident: Elasticsearch was not restarting correctly. * **12.28 CEST**: analysis revealed a version discrepancy between the nodes in the cluster. Two nodes were running a newer version, whilst the restarted node, which was acting as the master, was running an older version. The technical teams then proceeded to update it. * **12.32 CEST**: an incident notice was published on the status page. * **14:35 CEST**: The servers are operational again. As the checks were conclusive, the incident is considered resolved and the status page is closed. ## Challenges encountered The main challenge was linked to the specific configuration of the machine in question. This machine hosted two separate Elasticsearch instances corresponding to two different services. The process of synchronising the Elasticsearch version therefore had to be carried out with care on both instances, without overwriting the configurations, data, logs or backups specific to each service. Another difficulty concerned the cluster’s behaviour upon restart. The node in question was unable to join the cluster because its version was older than that of the other nodes already in operation. The logs explicitly stated that a node running this version could not join a cluster consisting solely of nodes running a more recent version. ## Cause of the incident The cause of the incident was a version discrepancy between the nodes in the Elasticsearch cluster. The restarted node was running an older version than the other two nodes. However, Elasticsearch did not allow this node to join a cluster consisting solely of nodes running a newer version. The cluster therefore ended up in a non-nominal state after the affected node was restarted, resulting in the unavailability of dependent services. The root cause is not linked to any individual action, but to a lack of formalisation and security measures in the procedure for updating and restarting the Elasticsearch cluster, particularly in the context of a specific installation with multiple instances on the same machine. ## Data loss No data loss was identified as a result of this incident. The incident affected the availability of the Elasticsearch service and the ability of the nodes to function correctly together within the cluster. Existing data was neither deleted nor altered. ## Remedial measures The technical teams upgraded the affected node to bring its Elasticsearch version into line with that of the other nodes in the cluster. The affected Elasticsearch services were then restarted gradually, whilst verifying the installed versions, the necessary plugins and the start-up logs. The technical teams also verified that the system had returned to normal operation via the monitoring interfaces for the affected clusters. Following this incident, several remedial actions are planned: * to formalise a procedure for updating and restarting the Elasticsearch cluster; * document the specific steps applicable to machines hosting multiple Elasticsearch instances; * clarify the procedure for installing or reinstalling the necessary plugins after an update; * add an explicit version verification step before restarting a node; * review the procedure for gracefully removing a node from the cluster to allow the election of a new master without interruption; * examine the possibility of greater cluster segregation, for example across more machines, in order to reduce dependencies between services and limit the impact of a similar incident. These measures should help to reduce the risk of a recurrence of an incident linked to a version discrepancy between Elasticsearch nodes and improve the resilience of maintenance operations.

1. 2026년 7월 7일 PM 3:41 UTCinvestigating

   Certains utilisateurs rencontrent des déconnexions intempestives de leur compte. Nous investiguons le problème. --- Some users are experiencing unexpected logouts from their accounts. We are investigating the issue.

2. 2026년 7월 7일 PM 4:17 UTCmonitoring

   Le problème a été identifié, c'est dû à une mise à jour d'une librairie interne. Nous sommes revenus en arrière et la plateforme semble être revenue à la normale. --- The problem has been identified; it was caused by an update to an internal library. We have rolled back the update and the platform appears to be back to normal.

3. 2026년 7월 7일 PM 6:02 UTCresolved

   This incident has been resolved.

4. 2026년 7월 8일 AM 7:41 UTCpostmortem

   # Post-mortem — Déconnexions intempestives sur la plateforme ## Résumé Le 7 juillet 2026, la plateforme Whaller a rencontré un incident de production provoquant des déconnexions intempestives de certains utilisateurs. Le symptôme observé était le suivant : après authentification, l’interface semblait charger normalement, puis l’utilisateur était renvoyé vers la page de connexion. L’incident a été traité en priorité critique par les équipes techniques. Après investigation et déploiement d’un correctif, le service est revenu à un fonctionnement normal. ## Chronologie des événements Le 7 juillet 2026, en fin d’après-midi, les équipes techniques constatent un premier cas de déconnexion forcée après authentification. Peu après, un client confirme un comportement similaire : tentative de connexion, chargement de l’interface, puis retour automatique vers la page de connexion. Une première analyse oriente les investigations vers une évolution applicative récemment mise en production. Un correctif est préparé et déployé afin de revenir en arrière sur cette évolution. Un premier correctif est mis en production, sans résoudre complètement la situation. Les équipes techniques poursuivent alors l’analyse et identifient plus précisément le composant applicatif à l’origine du problème. Un second correctif est ensuite déployé. Après cette mise en production, les déconnexions intempestives ne sont plus constatées. ## Difficultés rencontrées L’incident a présenté plusieurs difficultés d’analyse. Le symptôme visible côté utilisateur était simple à décrire, mais sa cause pouvait provenir de plusieurs couches techniques différentes : gestion des sessions, évolution applicative récente, traitement de maintenance ou infrastructure de base de données. Les équipes techniques ont donc dû investiguer plusieurs pistes en parallèle avant d’isoler la cause réelle. Enfin, un premier correctif a été déployé sur la base de l’hypothèse la plus probable à ce moment-là, mais cette correction n’a pas suffi à résoudre durablement l’incident. Un second correctif a été nécessaire après identification plus précise du composant concerné. ## Cause de l’incident L’incident a été causé par une régression introduite dans une mise à jour récente d’un composant applicatif lié aux discussions. Cette régression provoquait, dans certaines conditions, une instabilité de la session utilisateur après authentification. L’utilisateur pouvait donc réussir à se connecter, puis être immédiatement renvoyé vers la page de connexion. ## Perte de données Aucune perte de données n’a été identifiée. L’incident a affecté l’accès à la plateforme et la stabilité des sessions utilisateur, mais il n’a pas entraîné de suppression, d’altération ou de corruption de données. ## Mesures de remédiation Les équipes techniques ont déployé un correctif permettant de revenir à une version stable du composant applicatif concerné. À la suite de cet incident, les mesures suivantes sont engagées : * analyse détaillée du composant applicatif concerné afin d’identifier précisément le changement ayant provoqué la régression ; * surveillance renforcée après déploiement des correctifs liés à l’authentification, aux discussions et aux mécanismes de reconnexion. Les équipes techniques restent mobilisées afin de prévenir la réapparition de ce type d’incident. --- # Post-mortem — Unexpected logouts on the platform ## Summary On 7 July 2026, the Whaller platform experienced a production incident causing some users to be unexpectedly logged out. The symptom observed was as follows: after logging in, the interface appeared to load normally, but the user was then redirected back to the login page. The incident was treated as a critical priority by the technical teams. Following an investigation and the deployment of a fix, the service returned to normal operation. ## Timeline of events On 7 July 2026, in the late afternoon, the technical teams noted the first instance of a forced logout following authentication. Shortly afterwards, a customer confirmed similar behaviour: an attempt to log in, the interface loading, then an automatic return to the login page. An initial analysis pointed the investigation towards an application update that had recently been put into production. A patch was prepared and deployed to roll back this update. An initial patch was put into production, but this did not fully resolve the issue. The technical teams then continued their analysis and identified more precisely the application component causing the problem. A second patch was then deployed. Following this deployment, the unexpected logouts were no longer observed. ## Challenges encountered The incident presented several challenges for analysis. The symptom visible to the user was simple to describe, but its cause could have stemmed from several different technical layers: session management, a recent application update, maintenance operations or the database infrastructure. The technical teams therefore had to investigate several lines of inquiry in parallel before isolating the actual cause. Finally, an initial fix was deployed based on the most likely hypothesis at that time, but this fix was not sufficient to resolve the incident permanently. A second fix was required following a more precise identification of the component concerned. ## Cause of the incident The incident was caused by a regression introduced in a recent update to an application component related to chat functionality. Under certain conditions, this regression caused user sessions to become unstable after authentication. As a result, users could successfully log in, only to be immediately redirected back to the login page. ## Data loss No data loss was identified. The incident affected access to the platform and the stability of user sessions, but did not result in any data being deleted, altered or corrupted. ## Remedial measures The technical teams deployed a patch to revert to a stable version of the affected application component. Following this incident, the following measures have been implemented: * a detailed analysis of the affected application component to precisely identify the change that caused the regression; * enhanced monitoring following the deployment of patches relating to authentication, chat and reconnection mechanisms. The technical teams remain on high alert to prevent this type of incident from recurring.

1. 2026년 6월 23일 PM 12:25 UTCinvestigating

   We are currently investigating this issue.

2. 2026년 6월 23일 PM 12:25 UTCinvestigating

   We are continuing to investigate this issue.

3. 2026년 6월 23일 PM 8:44 UTCresolved

   Nous avons identifié et corrigé le problème. La plateforme est de nouveau accessible. Nous produirons un post mortem dans les heures suivantes. We have identified and resolved the issue. The platform is now accessible again. We will be publishing a post-mortem in the next few hours.

4. 2026년 6월 23일 PM 9:34 UTCpostmortem

   # Post-mortem — Incident de production du 23 juin 2026 ## Résumé Le 23 juin 2026, un incident de production a rendu la plateforme principale ainsi que les accès associés indisponibles pour les utilisateurs. L’incident a été détecté à la suite d’alertes de supervision indiquant une indisponibilité des services. Les équipes techniques ont immédiatement engagé les premières actions de diagnostic et de redémarrage sur les composants applicatifs et d’infrastructure concernés. L’analyse a montré que le mécanisme de vérification de disponibilité du répartiteur de charge ne parvenait plus à valider correctement les frontaux applicatifs. Ceux-ci répondaient avec un code HTTP 403 aux requêtes de contrôle, ce qui les faisait considérer comme indisponibles, entraînant l’interruption du service. Le service a été rétabli après ajustement temporaire de la validation côté infrastructure, puis correction de la cause ayant entraîné ces réponses 403. ## Chronologie des événements Le 23 juin 2026 en début d’après-midi, les alertes de supervision ont signalé l’indisponibilité de la plateforme principale et des accès associés. Les équipes techniques ont procédé aux premières vérifications et redémarrages des composants applicatifs concernés, notamment les services web et certains serveurs frontaux. Un ticket prioritaire a été ouvert auprès de notre fournisseur d’infrastructure afin d’analyser le comportement du répartiteur de charge et des composants réseau associés. Les investigations ont ensuite porté sur l’état des pools HTTPS du répartiteur de charge, les composants d’infrastructure réseau, les serveurs frontaux et les journaux applicatifs. En fin de journée, une cellule de crise a été ouverte avec le fournisseur d’infrastructure afin d’accélérer l’analyse. Les vérifications croisées ont permis d’identifier que les requêtes de contrôle de disponibilité recevaient des réponses HTTP 403, ce qui empêchait le répartiteur de charge de considérer les frontaux comme disponibles. Une mesure temporaire a été appliquée sur la configuration du répartiteur de charge afin de rétablir le service. Après rétablissement, les équipes techniques ont poursuivi l’analyse et confirmé qu’une adresse interne utilisée pour les contrôles de disponibilité avait été bloquée. Le blocage a été levé, les réponses attendues sont redevenues conformes, puis la mesure temporaire a été supprimée. ## Difficultés rencontrées L’identification de la cause a été rendue difficile par le fait que plusieurs couches techniques pouvaient être en cause : serveurs applicatifs, configuration web, répartiteur de charge, composants réseau et infrastructure d’hébergement. Les premiers symptômes laissaient penser à un dysfonctionnement du répartiteur de charge ou de la couche réseau, car les frontaux étaient considérés comme indisponibles alors que certains services applicatifs continuaient à répondre localement. La corrélation entre le blocage d’une adresse interne et l’incident n’a été établie que tardivement, après recoupement des journaux applicatifs et des contrôles effectués pendant la cellule de crise. L’analyse a également nécessité l’intervention de plusieurs niveaux de support côté fournisseur d’infrastructure, ce qui a rallongé le temps de diagnostic. ## Cause de l’incident La cause de l’incident est le blocage d’une adresse interne utilisée par le mécanisme de contrôle de disponibilité du répartiteur de charge. À la suite de ce blocage, les requêtes de contrôle adressées aux serveurs frontaux recevaient des réponses HTTP 403 au lieu des réponses attendues. Le répartiteur de charge a alors considéré les frontaux comme indisponibles et n’a plus correctement distribué le trafic vers les services applicatifs. Cette situation a entraîné l’indisponibilité de la plateforme pour les utilisateurs. ## Perte de données Aucune perte de données n’a été constatée. L’incident a concerné l’accessibilité au service, mais n’a pas affecté l’intégrité des données stockées. ## Mesures de remédiation Les équipes techniques ont levé le blocage de l’adresse interne utilisée par les contrôles de disponibilité. Les équipes techniques ont vérifié le retour à un comportement nominal des serveurs frontaux et du répartiteur de charge. Les équipes techniques ont supprimé la mesure temporaire appliquée pendant l’incident une fois la cause corrigée. Les équipes techniques vont renforcer la supervision des contrôles de disponibilité afin de détecter plus rapidement les cas où un composant est considéré indisponible à cause d’un rejet applicatif ou réseau. Les équipes techniques vont revoir les règles de filtrage internes afin de mieux identifier les adresses techniques nécessaires au bon fonctionnement de l’infrastructure. Les équipes techniques vont documenter plus précisément les dépendances entre les contrôles de disponibilité, les serveurs frontaux et les règles de sécurité internes, afin de réduire le temps de diagnostic en cas d’incident similaire. Les équipes techniques vont améliorer les procédures d’escalade et de diagnostic avec le fournisseur d’infrastructure afin d’accélérer l’analyse lorsque plusieurs couches techniques sont susceptibles d’être impliquées. --- # Post-mortem — Production incident of 23 June 2026 ## Summary On 23 June 2026, a production incident rendered the main platform and associated access points unavailable to users. The incident was detected following monitoring alerts indicating that services were unavailable. The technical teams immediately began initial diagnostic checks and restarted the affected application and infrastructure components. Analysis revealed that the load balancer’s availability check mechanism was no longer able to correctly validate the application front-ends. These were responding to check requests with an HTTP 403 code, which caused them to be treated as unavailable, resulting in the service interruption. The service was restored following a temporary adjustment to the infrastructure-side validation, followed by the correction of the cause leading to these 403 responses. ## Timeline of events In the early afternoon of 23 June 2026, monitoring alerts indicated that the main platform and associated access points were unavailable. The technical teams carried out initial checks and restarted the affected application components, notably the web services and certain front-end servers. A high-priority ticket was raised with our infrastructure provider to analyse the behaviour of the load balancer and associated network components. Investigations then focused on the status of the load balancer’s HTTPS pools, the network infrastructure components, the front-end servers and the application logs. At the end of the day, a crisis task force was set up with the infrastructure provider to speed up the analysis. Cross-checks revealed that availability check requests were receiving HTTP 403 responses, which prevented the load balancer from recognising the front-end servers as available. A temporary fix was applied to the load balancer’s configuration to restore the service. Once service had been restored, the technical teams continued their analysis and confirmed that an internal address used for availability checks had been blocked. The block was lifted, the expected responses returned to normal, and the temporary fix was then removed. ## Challenges encountered Identifying the cause was made difficult by the fact that several technical layers could have been involved: application servers, web configuration, load balancer, network components and hosting infrastructure. The initial symptoms suggested a malfunction in the load balancer or the network layer, as the front-end servers were considered unavailable whilst some application services continued to respond locally. The link between the blocking of an internal address and the incident was only established at a late stage, after cross-referencing application logs and checks carried out during the crisis response. The analysis also required the involvement of several levels of support from the infrastructure provider, which prolonged the diagnosis time. ## Cause of the incident The cause of the incident was the blocking of an internal address used by the load balancer’s availability monitoring mechanism. As a result of this blocking, monitoring requests sent to the front-end servers received HTTP 403 responses instead of the expected responses. The load balancer then deemed the front-end servers to be unavailable and ceased to distribute traffic correctly to the application services. This situation resulted in the platform being unavailable to users. ## Data loss No data loss was observed. The incident affected access to the service but did not affect the integrity of the stored data. ## Remedial measures The technical teams unblocked the internal address used by the availability checks. The technical teams verified that the front-end servers and the load balancer had returned to normal operation. The technical teams removed the temporary measure applied during the incident once the cause had been rectified. The technical teams will strengthen the monitoring of availability checks in order to detect more quickly instances where a component is deemed unavailable due to an application or network rejection. The technical teams will review the internal filtering rules in order to better identify the technical addresses necessary for the infrastructure to function correctly. The technical teams will document the dependencies between availability checks, front-end servers and internal security rules in greater detail, in order to reduce the time taken to diagnose a similar incident. The technical teams will improve escalation and diagnostic procedures with the infrastructure provider in order to speed up analysis when several technical layers are likely to be involved.

1. 2026년 5월 13일 AM 6:41 UTCinvestigating

   We are currently investigating this issue.

2. 2026년 5월 13일 AM 6:56 UTCresolved

   This incident has been resolved.

1. 2026년 5월 12일 PM 2:49 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 2026년 5월 12일 PM 3:08 UTCidentified

   We are continuing to work on a fix for this issue.

3. 2026년 5월 12일 PM 3:27 UTCresolved

   This incident has been resolved.

4. 2026년 5월 13일 AM 9:07 UTCpostmortem

   ## Résumé Entre 15h41 et 15h55, plusieurs services de la plateforme sont devenus inaccessibles \(Discussions, accès aux fichiers\). Une perturbation a également affecté les box de fichiers, rendant impossible la navigation dans l'arborescence et la visualisation ou modification des fichiers. Les équipes techniques ont diagnostiqué et résolu l'ensemble des problèmes entre 16h49 et 17h27. ## Chronologie des événements * **15:41** — Déclenchement des premières alertes de supervision * **15:55** — Retour à la normale pour les services supervisés \(alertes OK\). * **~16h** — Remontées clients signalant l'inaccessibilité des box de fichiers \(navigation dans les dossiers, visualisation et modification de fichiers\). * **16:33** — Prise en compte officielle de l'incident par les équipes techniques. * **16:49** — Ouverture d'une page de statut. Début des actions correctives * **~17h15** — Services de nouveau pleinement opérationnels. * **17:27** — Fermeture de la page de statut. Clôture des tickets clients. ## Difficultés rencontrées * L'incident a touché plusieurs composants indépendants, ce qui a nécessité un diagnostic multi-couches. * La cause principale n'était pas immédiatement visible et a dû être corrélée avec les données de supervision. * Une erreur de permissions sur un fichier système a bloqué le redémarrage du moteur de recherche et a dû être corrigée manuellement avant de pouvoir rétablir le service. ## Cause de l'incident L'incident a été provoqué par le redémarrage inopiné de plusieurs serveurs d'infrastructure. ## Perte de données Aucune perte de données n'a été constatée. L'incident était de nature disponibilité uniquement.

1. 2026년 4월 29일 AM 4:33 UTCinvestigating

   Un incident est actuellement en cours sur Whaller365. L’affichage et l’édition en ligne des fichiers Office sont indisponibles ou fortement perturbés. Les équipes techniques sont mobilisées pour identifier l’origine du problème et rétablir le service dans les meilleurs délais. Les autres fonctionnalités de Whaller restent accessibles. Nous publierons une mise à jour dès que nous disposerons de nouveaux éléments.

2. 2026년 4월 29일 AM 5:33 UTCidentified

   La cause de l'incident est identifiée. C'est une cause logicielle : une mise à jour hier soir a provoqué un dysfonctionnement sur OnlyOffice. La correction est en cours de déploiement.

3. 2026년 4월 29일 AM 5:40 UTCresolved

   La correction logicielle a été passée en production. Nous vous prions de bien vouloir nous excuser pour la gêne occasionnée.

4. 2026년 4월 29일 AM 5:44 UTCpostmortem

   ## Résumé Le 29 avril 2026 au matin, un incident de production a rendu indisponible l’affichage et l’édition des fichiers Office dans les espaces de stockage. Les utilisateurs ne pouvaient plus ouvrir leurs documents. L’incident a été détecté suite à un signalement utilisateur. Les équipes techniques ont rapidement identifié une régression introduite lors d’une mise en production la veille et ont déployé un correctif dans la matinée. Le service a été rétabli en moins de deux heures après détection. ## Chronologie des événements * **28 avril 2026 \(soir\)** : mise en production d’une version introduisant une régression. * **29 avril 2026 06:30** : signalement de l’incident par un utilisateur. * **07:07** : identification d’une cause probable d’origine logicielle par les équipes techniques. * **07:10** : création d’un ticket de suivi. * **07:28** : déploiement d’un correctif. * **07:38** : mise en production du correctif et validation du retour à la normale. ## Difficultés rencontrées * L’incident n’a pas été détecté automatiquement, mais uniquement via un signalement utilisateur. * La régression ne concernait qu’un cas spécifique non couvert par les mécanismes de supervision existants. * Le comportement en cause dépendait d’une interaction subtile entre le client et le serveur \(gestion d’un paramètre vide\), rendant l’identification initiale moins immédiate. ## Cause de l'incident L’incident est dû à une régression introduite lors d’une mise en production, liée à une évolution fonctionnelle. Un paramètre transmis par le client était interprété différemment par le serveur selon qu’il était vide ou nul. Dans certains cas, une valeur vide empêchait la résolution correcte de la version du document, entraînant la génération d’une configuration invalide pour le service d’édition Office, et donc l’impossibilité d’afficher les fichiers. ## Perte de données Aucune perte de données n’est à signaler. Les documents n’ont pas été altérés, et l’incident n’a impacté que leur affichage et leur édition temporaire. ## Mesures de remédiation * Correction immédiate du comportement côté serveur pour normaliser les paramètres reçus. * Déploiement d’un correctif en production dans les plus brefs délais. * Renforcement des contrôles sur les cas limites liés aux paramètres transmis par le client. * Amélioration des scénarios de tests pour couvrir ce type de situation. * Réflexion en cours sur l’amélioration des mécanismes de détection proactive afin de réduire le délai de détection en cas de régression similaire.

1. 2026년 4월 28일 AM 6:35 UTCinvestigating

   We are currently investigating this issue.

2. 2026년 4월 28일 AM 7:19 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 2026년 4월 28일 AM 7:41 UTCresolved

   This incident has been resolved.

4. 2026년 4월 30일 AM 6:36 UTCpostmortem

   **Résumé** Le 28 avril 2026, entre 08h17 et 09h18, le service Whaller365 a été indisponible suite à la suppression automatique de la configuration Nginx lors d'une mise à jour système non supervisée. La durée totale d'indisponibilité a été d'environ 1 heure. **Chronologie des événements** * **08h17** Une mise à jour automatique du paquet `` `nginx-common` `` efface la configuration Nginx, dont les fichiers spécifiques à OnlyOffice. Nginx tente de redémarrer et échoue immédiatement. * **08h18** Les équipes techniques reçoivent une alerte signalant l'indisponibilité du service. * **08h36** Les équipes techniques confirment l'origine de l'incident et engagent la procédure de restauration. * **09h18** La configuration Nginx est intégralement reconstruite et le service OnlyOffice est rétabli. **Difficultés rencontrées** La configuration Nginx d'OnlyOffice repose sur des fichiers et liens symboliques créés manuellement, en dehors du gestionnaire de paquets. Ces éléments n'ont pas été recréés automatiquement lors de la mise à jour, ce qui a rendu la restauration entièrement manuelle. La tentative de régénération automatique via les outils de reconfiguration OnlyOffice n'a pas suffi à restaurer l'ensemble des fichiers manquants, allongeant la durée d'intervention. **Cause de l'incident** À 08h17, le système de mise à jour automatique \(`` `unattended-upgrades` ``\) a appliqué une mise à jour du paquet `` `nginx-common` ``. Durant ce processus, dpkg a réinitialisé le répertoire de configuration `` `/etc/nginx/` ``, supprimant le fichier `` `nginx.conf` `` ainsi que les liens symboliques nécessaires au fonctionnement d'OnlyOffice. Ces fichiers, créés manuellement et non gérés par dpkg, n'ont pas été préservés. Nginx n'a pas pu redémarrer après la mise à jour, rendant OnlyOffice inaccessible. **Perte de données** Aucune perte de données utilisateur n'est à déplorer. Seule la configuration système du serveur a été affectée. **Mesures de remédiation** Reconstruction complète de la configuration Nginx et rétablissement du service

1. 2025년 11월 24일 AM 8:36 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 2025년 11월 24일 PM 8:15 UTCresolved

   This incident has been resolved.

1. 2025년 11월 21일 AM 7:56 UTCinvestigating

   Nous rencontrons actuellement des difficultés techniques affectant l'authentification et la navigation sur la plateforme. Nos équipes techniques travaillent activement à la résolution de ce problème. Nous vous tiendrons informés de l'avancement et vous présenterons nos excuses pour la gêne occasionnée.

2. 2025년 11월 21일 AM 8:23 UTCidentified

   Nous avons identifié le problème qui est lié aux serveurs de bases de données, nous corrigeons le problème.

3. 2025년 11월 21일 AM 8:24 UTCmonitoring

   Le service est revenu à la normale, nous surveillons les services et nous vous ferons part d'un post mortem détaillé.

4. 2025년 11월 21일 AM 8:30 UTCresolved

   This incident has been resolved.

1. 2025년 11월 13일 AM 8:30 UTCresolved

   Suite à une panne technique sur un disque hébergeant des données chez notre hébergeur, les accès à des fichiers ont pu être perturbés pour certains utilisateurs. L'incident a été résolu une fois le disque remis en service. L'incident chez notre hébergeur est disponible ici : https://hosted-private-cloud.status-ovhcloud.com/incidents/9j5l7jt7zgx8

1. 2025년 11월 4일 AM 10:52 UTCresolved

   Le 4 novembre 2025, une anomalie matérielle sur un hôte VMware hébergé chez OVHCloud a entraîné une série d’alertes de supervision et une indisponibilité sur une partie de l’infrastructure. L’incident a été résolu après la mise en service d’un hôte de remplacement par OVHCloud. Chronologie des événements 10:16 : Les équipes techniques identifient, à la suite d’alertes envoyées par le système de supervision, qu’un hôte est en erreur, provoquant des alertes en continu. 10:22 : La direction technique est informée de la situation. 10:23 : OVH annonce la détection d’une anomalie matérielle sur l’hôte concerné et prévoit la livraison d’un hôte de remplacement. 11:13 : L’hôte de remplacement est livré par OVH. 11:15 : Fin de l’incident. Cause de l’incident L’incident a été causé par une anomalie matérielle sur un hôte VMware hébergé chez OVH, entraînant un comportement défaillant du nœud jusqu’à sa substitution. Perte de données Aucune perte de données n’a été constatée. Les services ont pu avoir des indisponibilités pendant la durée de l’incident.

1. 2025년 9월 18일 AM 7:35 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 2025년 9월 18일 AM 9:45 UTCresolved

   This incident has been resolved.

1. 2025년 9월 1일 PM 4:20 UTCresolved

   Le 1er septembre 2025 entre 10:12 et 10:39, les utilisateurs d’une marque blanche hébergée sur Whaller ont pu connaître des problèmes d’authentification. Cela était lié à une indisponibilité du service de connexion suite à une perte de liaison avec notre cluster de données. Une fois la liaison rétablie, le service de connexion était de nouveau fonctionnel.

1. 2025년 8월 20일 PM 4:09 UTCresolved

   Afin d'ajouter une couche supplémentaire de sécurité sur l'authentification via SSO, nous avons effectué une mise à jour de l'application. Une erreur de configuration a rendu indisponible l'authentification pendant 30 minutes de 15:00 à 15:30, heure à laquelle nous avons déployé un correctif.

1. 2025년 8월 19일 AM 7:49 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 2025년 8월 19일 PM 12:53 UTCresolved

   This incident has been resolved.

1. 2025년 7월 18일 AM 10:35 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 2025년 7월 18일 AM 10:48 UTCresolved

   This incident has been resolved.

1. 2025년 6월 19일 AM 8:09 UTCinvestigating

   We are currently investigating this issue.

2. 2025년 6월 19일 AM 8:49 UTCresolved

   This incident has been resolved.

3. 2025년 6월 19일 PM 2:52 UTCpostmortem

   ## Résumé Un incident de production a été détecté le 19 juin 2025, entraînant l’absence de marquage en non lus des nouveaux messages et commentaires \(puces et texte en gras\). L'incident a été résolu après identification de la cause et déploiement d'un correctif. ## Chronologie des événements * 19/06/2025 10:03 : Détection de l’incident. * 10:05 : Confirmation de l'incident. * 10:40 : Identification de la cause \(problème de routage du “queueing” interne\) * 10:47 : Déploiement et mise en prod du correctif * 11:50 : Fin du traitement des données en attente, fin de l'incident. ## Difficultés rencontrées * Gestion des files d'attente saturées et impact sur les services dépendants. ## Cause de l'incident La cause de l'incident a été identifiée comme étant un problème de routage du système de “queueing” interne \(traitement des instructions asynchrones\). ## Perte de données Aucune perte de données n'a été rapportée durant cet incident. ## Mesures de remédiation * Correctif déployé : Une nouvelle version a été déployée pour corriger le problème. * Surveillance renforcée : Les équipes techniques ont renforcé la surveillance des files d'attente pour détecter rapidement tout comportement anormal. * Amélioration des processus : Révision des processus de déploiement pour éviter des incidents similaires à l'avenir.

1. 2025년 6월 2일 PM 3:07 UTCresolved

   Certaines pages ont été inaccessibles pendant quelques instants suite à une modification de la configuration des notifications. Vous pouvez maintenant choisir si vous désirez recevoir le son des notifications du service Discussions.

1. 2025년 5월 23일 AM 10:20 UTCidentified

   The issue has been identified and a fix is being implemented.

2. 2025년 5월 23일 AM 11:00 UTCresolved

   This incident has been resolved.