Historique des pannes de Loom

1. 8 mai 2026 à 03:00 UTCinvestigating

   Nous rencontrons des problèmes avec plusieurs produits Atlassiens. Nos équipes enquêtent et d'autres mises à jour, y compris seront partagées dans un délai d'une heure.

2. 8 mai 2026 à 04:10 UTCidentified

   Nous avons constaté que la cause profonde de la question est liée à une panne d'infrastructure de notre fournisseur de cloud public. Nous travaillons en étroite collaboration avec eux pour atténuer cette question. Nous fournirons d'autres mises à jour lorsqu'elles seront disponibles.

3. 8 mai 2026 à 04:10 UTCidentified

   Nos équipes continuent de travailler à atténuer la panne d'infrastructure de notre fournisseur de cloud public. Nous fournirons d'autres mises à jour lorsqu'elles seront disponibles.

4. 8 mai 2026 à 04:10 UTCidentified

   Nous continuons de travailler avec notre fournisseur de services de cloud public pour atténuer ce problème. Nous commençons à voir une certaine reprise dans des régions en dehors de l'Est des États-Unis, cependant, les utilisateurs à l'échelle mondiale peuvent encore éprouver des problèmes avec certaines caractéristiques de produit. Ceux-ci sont énumérés au bas de chaque page de produit.

5. 8 mai 2026 à 05:53 UTCmonitoring

   La question sous-jacente de l'infrastructure publique qui a affecté le traitement asynchrone des événements a été atténuée et tous les services touchés se rétablissent. Nous travaillons maintenant sur la compensation de l'arriéré des événements en attente, ce qui signifie que certaines actions (comme les notifications, les déclencheurs d'automatisation et les synchronisations de données) peuvent être dégradées. Nous continuerons de surveiller et de fournir des mises à jour à mesure que l'arriéré sera réglé.

6. 8 mai 2026 à 08:03 UTCmonitoring

   Nous continuons de surveiller la situation à mesure que les services se rétablissent. Nous sommes actuellement en train de résorber l'arriéré des événements en attente. Nous fournirons une nouvelle mise à jour dans environ une heure.

7. 8 mai 2026 à 11:12 UTCmonitoring

   Nos services sont maintenant pleinement opérationnels. Nous continuons à rejouer tous les événements qui ont été manqués pendant l'incident et nous faisons de bons progrès. Nous fournirons une nouvelle mise à jour une fois les replays terminés. Si vous rencontrez des problèmes permanents, veuillez contacter notre équipe de soutien. Nous nous excusons pour cette perturbation et vous remercions de votre patience.

8. 8 mai 2026 à 19:45 UTCresolved

   Le 8 mai 2026, certains clients utilisant des produits Atlassian ont connu des taux d'erreur élevés et des performances dégradées. Le problème a maintenant été résolu et le service fonctionne normalement pour tous les clients touchés.

9. 20 mai 2026 à 06:57 UTCpostmortem

   Toutes les dates et heures ci-dessous sont en UTC sauf indication contraire. Résumé Le 8 mai, 2026 entre 00:22 et 06:08, l'un de nos fournisseurs d'hébergement a subi un incident important dans une zone de disponibilité spécifique en prod-est qui a conduit à des clients atlassiens subissant des performances dégradées et des retards d'opérations de fond et d'exécution d'automatisation. L'incident a commencé le 8 mai 2026 à 00h22 et a été détecté dans les 4 minutes par des systèmes de surveillance automatisés. Nos équipes ont travaillé à restaurer l'accès au noyau d'ici 06:08. Le nettoyage final des processus en retard et des questions mineures a progressé par étapes à partir de là a été achevé itérativement vers 19:15. ### ** IMPACT** L'infrastructure principale affectée par cet incident était le pipeline de traitement des événements dans la région prod-est, qui distribue les événements entre les services Atlassiens et sous-tend les opérations de fond telles que l'exécution automatique, l'indexation des recherches, les notifications, la synchronisation des autorisations. * Entre 00:22 et 06:08, un incident d'infrastructure dans notre fournisseur d'hébergement a déclenché une défaillance d'ingestion dans notre pipeline de traitement des événements. * À 02h50, l'ingestion de l'événement a échoué dans une zone de disponibilité non affectée, rétablissant progressivement les flux d'événements vivants. * A 06:08, la fiabilité pour une nouvelle ingestion dans le prod-east récupéré à 100%. Le reste du travail consistait à drainer l'arriéré de messages accumulé entre les régions, qui s'est terminé à 17 h. * En 18:48, Automation avait traité leur arriéré d'événements qui ont été créés pendant le traitement **Automation** Entre 00:22 et 02:50, les clients avec des règles d'automatisation déclenchées par des événements provenant de la région prod-est ont connu une réduction significative des exécutions de règles. Au cours de cette fenêtre, les règles d'automatisation déclenchées par des événements n'ont pas été lancées parce que les événements qui les ont déclenchés n'étaient pas livrés. La rédaction, l'enregistrement et les règles déclenchées manuellement, par des horaires ou par des webhooks n'ont pas été affectés. À 02h50, l'infrastructure de traitement des événements a échoué dans une zone de disponibilité non affectée, rétablissant la livraison des événements en direct à Automation et permettant à de nouvelles règles déclenchées par des événements de commencer à exécuter normalement. Cependant, les événements générés pendant la fenêtre d'impact devaient encore être rejoués avant que les automatisations retardées puissent être traitées. À partir de 08h28, les services en amont ont rejoué leurs événements en file d'attente dans une séquence coordonnée, et tous les événements rejoués ont été traités par 18h48. Au cours de la fenêtre de replay, les clients ont peut-être connu des règles d'automatisation exécutées plus tard que prévu, un petit nombre de règles atteignant des limites de traitement quotidiennes en raison de la replay compressée, et des règles sensibles au temps ne s'achevant pas comme prévu en cas de dépassement des seuils de délai interne. ** Gestion des services Jira et Jira** Entre 00:22 et 02:50, les clients avec des locataires hébergés dans la région de prod-est ont subi une perturbation des fonctionnalités de Jira et de Jira Service Management, comme l'automatisation, ainsi qu'une courte période d'erreurs élevées pendant la panne d'infrastructure. Les expériences de Core Jira, y compris la vue des enjeux, les planches et la navigation des projets, sont demeurées disponibles tout au long de l'incident. La livraison des événements de Jira a été affectée par l'impact principal, empêchant les services en aval de recevoir des événements liés au cycle de vie. Cela a affecté les règles d'automatisation déclenchées par les événements de Jira, l'orchestration d'agents d'IA en Jira, les notifications pour les mises à jour des numéros et les transitions, l'indexation des recherches pour les nouveaux problèmes créés ou modifiés, et les intégrations d'événements entre Jira et d'autres produits Atlassian. À 02h50, l'infrastructure de traitement des événements a échoué dans une zone de disponibilité non affectée, rétablissant la livraison de nouveaux événements. Tous les événements générés pendant la fenêtre d'impact ont été conservés dans une file d'attente de récupération et ont nécessité un rejouage. Cela a commencé à 8 h 28 et s'est terminé à 12 h. Pendant le replay, les clients peuvent avoir expérimenté des règles d'automatisation exécutant plus tard que prévu, des notifications retardées arrivant des heures après l'action de déclenchement, des lacunes temporaires dans les résultats de recherche pour le contenu créé ou modifié pendant la fenêtre d'impact, et des flux de travail d'agents d'IA qui ne se terminent pas comme prévu là où les seuils de délai interne ont été dépassés. **Confluence** Entre 00:22 et 02:50, les clients avec des locataires hébergés dans la région de prod-est ont connu des perturbations aux services d'événements à Confluence. Cela a entraîné des retards dans l'indexation des recherches, les notifications, l'exécution des règles d'automatisation et la synchronisation des autorisations. L'infrastructure de traitement des événements sous-jacente a échoué dans une zone de disponibilité non affectée, après quoi les opérations de Confluence ont repris normalement. Cependant, les événements générés pendant la fenêtre d'impact ont été en attente pour le replay, et certains services de fond sont restés retardés jusqu'à ce que le replay et les travaux de validation connexes soient terminés. Entre 10h14 et 17h00, un replay en bloc de toutes les tâches de replay des locataires en attente a été effectué pour restaurer la cohérence des données. Pendant et immédiatement après la fenêtre de replay, les clients peuvent avoir expérimenté des résultats de recherche ne reflétant pas le contenu créé ou modifié pendant la panne, des notifications retardées ou manquantes pour l'activité de page et de commentaire, des règles d'automatisation tirant plus tard que prévu, et de brefs retards dans la synchronisation de l'autorisation pour les locataires s'appuyant sur la synchronisation d'identité progressive. **Bitbucket et pipelines** Entre 00:22 et 06:08, les clients utilisant Bitbucket et Pipelines ont connu des défaillances et des fonctionnalités dégradées à travers les workflows animés par des événements. Les opérations du noyau Git, y compris la poussée, la traction et le clone, n'ont pas été affectées et ont continué à fonctionner normalement tout au long de l'incident. Les déclencheurs de pipelines automatiques déclenchés par des événements de demande de poussée ou de traction n'étaient pas disponibles pendant la fenêtre d'impact. Fusionner les files d'attente, les vérifications de fusion personnalisées, les déclencheurs basés sur Forge, les modifications des permissions d'espace de travail et certains flux de provisionnement d'espace de travail ont également été touchés. Les clients utilisant les files d'attente de fusion n'étaient pas en mesure de fusionner les requêtes de tirage, et certaines étapes du pipeline ont échoué parce que les travaux en file d'attente contribuaient à des limites de concordance élevées. Vers 03h57, Pipelines a été reconfiguré pour consommer des événements par un chemin alternatif, en rétablissant le déclenchement automatique du pipeline. Fusionner les files d'attente, les vérifications de fusion personnalisées, les déclencheurs Forge et d'autres workflows touchés ont été progressivement restaurés à mesure que l'infrastructure de traitement des événements sous-jacents a été récupérée. Tous les services de Bitbucket et de Pipelines ont été confirmés pleinement opérationnels à 06:08. Après la récupération, les événements en attente ont été examinés et rejoués là où ils étaient sûrs de rétablir l'uniformité des données pour la facturation, l'enregistrement des vérifications et d'autres processus de base. **Services d'identité** Entre 00:22 et 02:50, les clients avec des locataires hébergés dans la région prod-est ont connu des retards dans la propagation de l'identité et de l'adhésion de groupe aux produits atlasiens en aval. Les opérations d'identité de base, y compris les mesures d'authentification, de connexion et de gestion directe des groupes, n'ont pas été touchées et ont continué de fonctionner normalement tout au long de l'incident. L'impact s'est limité aux opérations asynchrones axées sur les événements qui dépendent du pipeline de traitement des événements. Cela incluait des retards dans la livraison de l'adhésion de groupe et des changements de profil d'utilisateur à des produits tels que Jira et Confluence, qui ont affecté la synchronisation des autorisations en aval et les flux de synchronisation de foule. Un petit nombre de processus de synchronisation d'identité basés sur SCIM et de fourniture de sites ont également connu des retards temporaires. Une fois l'infrastructure de traitement des événements récupérée, les événements liés à l'identité sauvegardée et au répertoire de groupe ont été rejoués au besoin, ce qui a permis de rétablir la cohérence en aval des produits touchés. Aucune donnée d'identité n'a été perdue. Les changements d'adhésion au groupe, les mises à jour du profil de l'utilisateur et les événements liés à la fourniture qui se sont produits pendant la fenêtre d'impact ont été conservés et traités après la récupération. ** PLAN D'ACTION ET PROCHAINES ÉTAPES** Nous savons que les pannes affectent votre productivité. Bien que nos processus de surveillance et de rétablissement nous aient aidés à réagir rapidement, cet incident a mis en évidence des occasions de renforcer encore la résilience des services axés sur les événements. Nous accordons la priorité aux améliorations qui : * **Couverture en cas de panne d'équipement** afin que le traitement des événements critiques puisse se rétablir plus facilement pendant les perturbations de l'infrastructure. * **Matériel de récupération renforcé** afin que les événements rejoués puissent être traités plus rapidement. Nous nous excusons auprès des clients dont les services ont été touchés pendant cet incident; nous prenons des mesures immédiates pour améliorer la performance et la disponibilité de la plateforme. Merci, Assistance client Atlassian.

Traduit automatiquement depuis la mise à jour officielle de l'incident.

1. 29 avril 2026 à 07:00 UTCinvestigating

   We are investigating degraded performance issues affecting Loom's core functionalities - authentication, recording, viewing and editing looms. We will provide more details within the next hour.

2. 29 avril 2026 à 07:50 UTCresolved

   The Team has identified the root cause and the issue has now been resolved, and the impacted services are operating normally. Team will continue to monitor the impacted services.

1. 3 février 2026 à 10:24 UTCinvestigating

   Customers utilizing Confluence and Jira Mobile may experience disruptions in OAuth authentication flows. Forge installations and invocations might also be disrupted. Our team is actively investigating the same and we shall keep you informed of the progress within next 60 mins or sooner.

2. 3 février 2026 à 10:50 UTCresolved

   Team has identified the root cause and the issue has now been resolved, and the impacted services are operating normally. Team will continue to monitor the impacted services.

1. 19 novembre 2025 à 22:32 UTCidentified

   We are aware of some customers that are experiencing no audio when viewing their Loom recordings. Our team has identified this issue and is working urgently to restore the audio for these recordings. Please rest assured that the audio has been recorded correctly, and we expect this to be fully available when this incident is resolved. New recordings are no longer impacted by this issue. We will provide an update within two hours with our progress as the team continues to investigate.

2. 20 novembre 2025 à 00:33 UTCidentified

   Our team believes that we have identified the cause of the issue impacting audio during playback of videos for some customers. As mentioned in our previous updates, new recordings will be working as expected, however videos recorded between 19 Nov 16:51 UTC and 19 Nov 21:30 UTC are expected to be impacted by this issue. A fix for this issue to restore audio to these recordings is now being developed and tested, and we expect to have further update within 2 hours on progress for this resolution.

3. 20 novembre 2025 à 02:30 UTCidentified

   The fix to resolve issues on audio recordings impacted by this incident is now being prepared for deployment. Currently the expected duration of the rollout is 3 hours, at which point we expect the audio from the impacted recordings to be fully restored. We will provide further update at that time with the progress of the restoration and provide any additional information that may be required.

4. 20 novembre 2025 à 05:39 UTCresolved

   The rollout of the fix for impacted videos without audio has now completed. Customers should now be able to review existing videos without audio and see that it has been properly restored. If you are continuing to see any issues with playback of your videos, please reach out to Loom support for assistance. We apologize for any inconvenience caused by this issue.

1. 27 octobre 2025 à 15:35 UTCinvestigating

   Nous enquêtons sur un problème d'enregistrement, d'IA, d'authentification et de facturation qui affecte certains clients de Loom Cloud. Nous fournirons plus de détails dans la prochaine heure.

2. 27 octobre 2025 à 16:33 UTCinvestigating

   Nous continuons d'étudier le problème avec l'enregistrement, Loom AI, Authentification, et la facturation qui affecte certains clients de Loom Cloud. Nous enquêtons et publierons les mises à jour à 17h35 UTC ou plus tôt.

3. 27 octobre 2025 à 17:34 UTCinvestigating

   Nous continuons d'étudier le problème avec l'enregistrement, Loom AI, Authentification, et la facturation qui affecte certains clients de Loom Cloud. Nous publierons une autre mise à jour à 18h35 UTC ou plus tôt, au fur et à mesure que les choses avancent.

4. 27 octobre 2025 à 18:32 UTCinvestigating

   Nous continuons d'étudier activement la question avec l'enregistrement, Loom AI, Authentification, et la facturation qui affecte certains clients de Loom Cloud. Nous apprécions votre patience. Nous publierons une autre mise à jour à 19h35 UTC ou plus tôt, au fur et à mesure que les choses avancent.

5. 27 octobre 2025 à 19:06 UTCmonitoring

   Nous avons identifié la cause fondamentale du problème avec l'enregistrement, Loom AI, Authentification, et la facturation qui affecte certains clients de Loom Cloud. Nous avons mis en œuvre des mesures d'atténuation pour régler le problème et nous sommes en train de surveiller de près. Nous fournirons une autre mise à jour à 20h00 UTC ou plus tôt, au fur et à mesure que les choses avancent.

6. 27 octobre 2025 à 19:59 UTCmonitoring

   Nous mettons activement en œuvre d'autres mesures d'atténuation pour résoudre le problème touchant l'enregistrement, l'IA Loom, l'authentification et la facturation pour certains clients de Loom Cloud. Nous continuerons de surveiller de près et de fournir une autre mise à jour à 21h00 UTC ou plus tôt, à mesure que les choses avancent.

7. 27 octobre 2025 à 21:06 UTCmonitoring

   Nous avons mis en place d'autres mesures d'atténuation pour résoudre le problème de l'enregistrement, de la Loom AI, de l'authentification et de la facturation pour certains clients de Loom Cloud. Nous voyons de bons signes de reprise et tous les services sont opérationnels. Nous continuerons de surveiller de près et de fournir une autre mise à jour à 22h00 UTC ou plus tôt, à mesure que les choses avancent.

8. 27 octobre 2025 à 22:00 UTCresolved

   Le 27 octobre 2025, entre 12h30 et 22h15 UTC, nous avons connu des performances dégradées affectant les services d'enregistrement, de Loom AI, d'authentification et de facturation pour certains clients de Loom. Nous avons déployé un correctif pour atténuer le problème et nous avons vérifié que les services se sont rétablis. Les conditions qui sont à l'origine de la question ont été abordées et nous travaillons activement sur une solution permanente. Le problème a été résolu et le service fonctionne normalement. Une fois que nous aurons terminé notre processus interne d'examen des incidents, nous publierons un post mortem plus détaillé de ce qui a mal tourné, ainsi que des mesures que nous prenons pour empêcher que cela se reproduise à l'avenir. Remarque: À la suite de cet incident, certains Looms enregistrés au cours de la période de performance dégradée pourraient être restés dans un état de « rechargement ». Ces vidéos ne sont pas récupérables et ont été archivées dans les bibliothèques des utilisateurs.

9. 21 novembre 2025 à 19:49 UTCpostmortem

   Résumé Le 27 octobre 2025 entre 12:30 et 20:55 UTC, Loom a été significativement dégradé pour tous les clients. Les utilisateurs ont également connu de courtes périodes de dégradation le 28 octobre 2025 de 20:26 à 20:33 UTC et le 30 octobre 2025 19:22 à 19:27 UTC. Au cours de l'incident, les utilisateurs ont éprouvé des problèmes de lecture intermittente ou défaillante, d'enregistrements, de génération de transcriptions, de connexion de problèmes et d'erreurs générales ou de lenteur dans l'ensemble du service. Notre surveillance montre qu'entre 20 % et 80 % des interactions avec les utilisateurs ont échoué au cours de ces périodes, les défaillances augmentant au cours de la dernière moitié de l'incident. Nous savons que les pannes affectent votre productivité et nous nous excusons auprès des clients qui ont été touchés pendant cet incident. Nous prenons des mesures immédiates pour améliorer la fiabilité de Loom en fonction de nos enseignements de cet incident. Analyse À compter du 25 octobre 2025, le groupe de bases de données primaires de Loom a montré les premiers indicateurs d'un problème. L'utilisation des ressources augmente lentement et les créneaux de réplication ne suivent pas. Les ingénieurs ont été alertés le 26 octobre 2025 et ont commencé à enquêter. Nous n'avons vu aucun signe d'impact client à l'heure actuelle, cependant, nous avons identifié un problème avec un travail d'arrière-plan de réessayer en boucle. Nous avons envoyé une correction temporaire pour cette question et nous avons prévu d'enquêter plus avant le lendemain. Le lundi 27 octobre 2025, le problème a resurgi de façon significative à mesure que l'utilisation augmentait, et nous avons commencé à observer l'impact client. Les ingénieurs surveillaient la question de près et s'engageaient immédiatement. Il était clair que notre base de données ne fonctionnait pas comme prévu, et au cours des prochaines heures, nous avons fait de multiples tentatives d'atténuation. Notamment, nous avons étendu la base de données et deux lecteurs pour soulager la pression sur les ressources. Cela n'a pas aidé, et l'impact des utilisateurs est resté inchangé. Au cours des prochaines heures, nous avons fait plusieurs tentatives pour restaurer les performances normales de la base de données. Nous avons repoussé les changements récents, optimisé les performances des requêtes individuelles, ajouté de nouveaux index, mis à jour les configurations des bases de données, et aspiré de grands systèmes et tables d'application. Ces changements ont apporté un certain soulagement à court terme, mais la performance s'est encore aggravée. La suppression de nos emplacements de réplication a résolu la pression des ressources, mais n'a pas amélioré la performance globale de la requête. Nous avons ensuite observé que des requêtes identiques planifiaient et exécutant beaucoup plus rapidement sur l'auteur que sur les instances de notre lecteur, nous avons donc décidé de déplacer tout le trafic de requêtes vers l'instance de l'auteur unique. Ce changement a immédiatement atténué l'impact client. Bien que cette action ait résolu le problème immédiat, elle n'était pas un état stable pour notre service à long terme. Au cours des prochains jours, nous avons fait de multiples tentatives pour revenir à notre architecture typique d'un seul auteur, à double lecture. Chaque fois, nous avons vu les mêmes problèmes resurgir, entraînant de courtes périodes de dégradation. Entre chacune de ces tentatives, nous avons fait d'autres optimisations à l'utilisation de notre base de données, mais nous n'avons toujours pas vu les performances que nous attendions en ajoutant nos instances de lecture. C'était particulièrement difficile parce que nos services fonctionnaient comme prévu avec un seul lecteur, et nous n'avons observé cette dégradation qu'en ajoutant un deuxième lecteur au groupe. Le 31 octobre 2025, nous avons essayé la chute avec une taille d'instance plus petite, semblable à notre architecture originale avant la tentative d'échelle verticale. Cela a réussi, en rétablissant l'architecture Loom à la normale et en atténuant complètement l'incident. Cause profonde De façon générale, cet incident peut être divisé en deux parties. Premièrement, la dégradation initiale a été causée par de multiples changements de Loom survenus au cours des mois précédant l'incident. Deuxièmement, l'atténuation prolongée a résulté de façon inattendue de notre tentative d'atténuer l'augmentation de la taille des instances. La première partie de cet incident a été causée par une interaction complexe de multiples changements anciens et récents aux services Loom : * Depuis des années, Loom a un travail de base de données qui utilise des transactions imbriquées, un modèle rare dans notre base de codes. Une transaction parentale est ouverte pour l'ensemble du travail, avec des transactions pour enfants pour chaque lot de travail. Ce travail a été fiable, mais il réessayera plusieurs fois en cas d'échec. Ce travail est relativement peu volumineux et généralement rapide, mais peut nécessiter un travail de base de données important dans de rares cas. * Au cours des derniers mois, afin de soutenir les caractéristiques et les migrations à venir, la charge et l'activité de base sur la base de données Looms ont augmenté considérablement. * Le 14 octobre 2025, pour soutenir une fonctionnalité à venir, une modification générale a été apportée à la façon dont l'application Loom gère les transactions dans la base de données. Ce changement ne visait qu'à prendre effet dans nos environnements d'essai et de mise en scène, mais dans des cas particuliers liés à des transactions imbriquées, il s'appliquait aussi à la production. * Le 25 octobre 2025, les changements combinés ont déclenché une dégradation lente et croissante de notre base de données. Plusieurs grands travaux de fond se sont combinés et ont échoué, ce qui a entraîné la tenue d'une transaction permanente ouverte dans la base de données. Cette réplication dégradée fentes et autovacuum, conduisant à la table ballon à travers la base de données. Le 27 octobre 2025, cette dégradation a commencé à toucher nos utilisateurs. * Après avoir enlevé les déclencheurs initiaux, la base de données a continué de se dégrader et a exigé une intervention manuelle importante pour se stabiliser. Le rétablissement était compliqué parce qu'une tentative d'atténuation \(vertical instance scale\) a déclenché un nouveau problème. La deuxième partie de cet incident a été causée par notre tentative d'atténuation antérieure d'augmenter la taille de notre instance pour traiter la charge accrue de la première partie : * Au début de l'incident, en réponse à l'utilisation accrue des ressources de la base de données, nous avons tenté d'atténuer en élargissant verticalement nos instances à des tailles plus grandes. Nous considérons généralement qu'il s'agit d'une atténuation sûre et souvent efficace. * Ce changement a fait empirer la dégradation de la base de données. Le type de dégradation que nous avons observé dans les grandes instances était semblable à celui que nous avons déjà observé dans la première partie de l'incident. Après l'incident, nous avons appris directement de notre fournisseur de cloud que les tailles d'instance plus grandes utilisent une architecture de mémoire séparée qui fonctionne considérablement pire sur notre charge de travail. * Cette différence de performance entre les types d'instance est particulièrement évidente lors de l'ouverture de nouvelles connexions. Dans le cadre de notre enquête, nous avons également trouvé un problème avec notre pooler de connexion qui conduit à un excès de connexion en pointant à un point d'arrêt de lecteur DNS équilibré en charge. Cela explique pourquoi nous avons seulement observé des problèmes lors de l'ajout d'un deuxième lecteur au cluster, et non avec une configuration de lecteur unique. **Réparations et améliorations** Dans le cadre de nos efforts d'enquête et d'atténuation pendant l'incident, nous avons déjà pris plusieurs mesures clés pour régler des questions semblables, notamment : * Traitement optimal des transactions dans notre application. * Amélioration de la performance des requêtes à volume élevé et à rendement médiocre. * Amélioration de la surveillance et de l'observation de l'état du vide et du ballonnement de table. * Amélioration des outils internes pour faciliter le débogage * bannière en produit pour alerter les utilisateurs lors des incidents. De plus, nous priorisons les mesures d'amélioration suivantes : * D'autres améliorations au traitement et à la surveillance des transactions. * Optimisation de notre configuration de mise en commun des connexions. * Optimisations de l'utilisation de l'indice de base de données. * Amélioration de la configuration de la base de données. * Amélioration des paramètres d'autovacuum. * Amélioration de la mesure et du suivi de l'impact client. Je vous remercie, Atlassie

Traduit automatiquement depuis la mise à jour officielle de l'incident.

1. 20 octobre 2025 à 07:56 UTCinvestigating

   We have noticed that Atlassian Cloud services are impacted and our teams are actively investigating the same. We shall keep you informed of the progress every hour.

2. 20 octobre 2025 à 08:24 UTCinvestigating

   Atlassian Cloud services are impacted and we are aware that our customers might not be able to create support tickets. Our teams are actively investigating the same. We shall keep you informed of the progress every hour.

3. 20 octobre 2025 à 09:24 UTCinvestigating

   We are experiencing an outage due to some issue at the end of our public cloud provider. We are working closely with them to get this resolved or mitigated as quickly as possible. ETA of the same is not know at the moment. We shall continue to share updates every hour, if not sooner.

4. 20 octobre 2025 à 09:58 UTCidentified

   We understand that our public cloud provider has identified the cause of the issue. We are starting to see some recovery and is working towards mitigation. We appreciate your patience. We shall continue to share updates every hour, if not sooner.

5. 20 octobre 2025 à 11:07 UTCidentified

   We continue to work with our public cloud provider towards mitigating the issue at the earliest. We appreciate your patience. We shall continue to share updates every hour, if not sooner.

6. 20 octobre 2025 à 12:06 UTCidentified

   Atlassian team is actively engaged and continues to work with our public cloud provider to mitigate this issue at the earliest. We are starting to see partial operations succeed. We appreciate your patience. We shall continue to share updates every hour, if not sooner.

7. 20 octobre 2025 à 13:58 UTCidentified

   Our public cloud provider is working to mitigate this issue quickly. We are seeing some early positive indicators and are continuing to monitor. We appreciate your patience and will continue to provide updates every hour or sooner.

8. 20 octobre 2025 à 14:03 UTCidentified

   We understand your pain and mitigating or fixing this issue is of utmost importance. Our public cloud provider is actively working to mitigate this issue on priority. We have been seeing partial operational success. We appreciate your patience and will continue to provide updates every hour or sooner.

9. 20 octobre 2025 à 16:36 UTCidentified

   Update - Thank you for your continued patience. We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority. Our public cloud provider is still actively working to mitigate this issue with urgency and while we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation. We will be providing hourly updates on this issue.

10. 20 octobre 2025 à 17:27 UTCidentified

    Update - We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority. Our public cloud provider is actively working to mitigate this issue with urgency. While we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation. We will continue to provide updates every hour or sooner as new information becomes available.

11. 20 octobre 2025 à 17:43 UTCidentified

    We are currently aware of an ongoing incident impacting Atlassian Cloud services due to an outage with our public cloud provider, AWS. We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority and we are closely monitoring the health of AWS services. While we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation. We will continue to provide updates every hour or sooner as new information becomes available.

12. 20 octobre 2025 à 18:38 UTCmonitoring

    There have been no changes since our last update. We will provide our next updated by 9:00PM UTC or sooner as new information becomes available. We are currently aware of an ongoing incident impacting Atlassian Cloud services due to an outage with our public cloud provider, AWS. We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority and we are closely monitoring the health of AWS services. While we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation.

13. 20 octobre 2025 à 21:26 UTCmonitoring

    Monitoring - We've started seeing continued product experience improvement. While we still have a backlog of event processing, we are seeing improvements in systems operational capabilities across all products. We estimate a significant improvement with the next few hours and will continue to monitor the health of AWS services and the effects on Atlassian customers. We appreciate your continued patience and remain committed to full resolution as we work through this situation. We will post our next update in two hours.

14. 20 octobre 2025 à 22:58 UTCmonitoring

    Our teams are continuing to monitor the recovery of systems across Atlassian products. This update is to inform that the Atlassian Support portal is fully operational at this time for customers that wish to contact support.

15. 21 octobre 2025 à 00:03 UTCmonitoring

    Our team is now seeing recovery across all impacted Atlassian products. We are continuing to monitor for individual products that may still be processing backlogged items now that services are restored. The Atlassian Support portal is currently still displaying a message directing customers to our temporary support channel. Please note that our support portal is currently fully functional for those attempting to raise requests. We are continuing to look into this alert to remove this message. We will provide further update on our recovery status in one hour.

16. 21 octobre 2025 à 01:07 UTCmonitoring

    We continue to see recovery progressing across all impacted products as backlogged items continue to be processed. The Atlassian Support portal is currently displaying a message directing customers to our temporary support channel. Please note that our support portal is currently fully functional for those attempting to raise requests. We are continuing to look into this alert to remove this message. We will provide further update on our recovery status in two hours.

17. 21 octobre 2025 à 03:24 UTCmonitoring

    The issue relating to the Atlassian Support portal displaying a message to customers to use our temporary support channel has now been resolved. The Atlassian Support portal is fully functional for any ongoing support issues. With regards to other Atlassian products, we continue to see recovery continuing across all impacted products and our teams are continuing to monitor as the recovery continues. We will provide further update on our recovery status within two hours.

18. 21 octobre 2025 à 05:24 UTCresolved

    Our team is now able to see full recovery across the vast majority of Atlassian products. We are aware of some ongoing issues with specific components such as migrations and JSM virtual service agents, and our team is continuing to investigate with urgency. We apologise for the inconvenience that this incident has caused and we will provide further information when the Post Incident Investigation has been completed.

19. 24 octobre 2025 à 17:53 UTCpostmortem

    ### Postmortem publish date: Nov 19th, 2025 ### Summary All dates and times below are in UTC unless stated otherwise. Customers utilizing Atlassian products experienced elevated error rates and degraded performance between Oct 20, 2025 06:48 and Oct 21, 2025 04:05. The service disruptions were triggered due to an [AWS DynamoDB outage](https://aws.amazon.com/message/101925/#:~:text=1%3A50%20PM.-,DynamoDB,-Between%2011%3A48) and further affected by subsequent failures in [AWS EC2](https://aws.amazon.com/message/101925/#:~:text=service%20disruption%20event.-,Amazon%20EC2,-Between%2011%3A48) and [AWS Network Load Balancer](https://aws.amazon.com/message/101925/#:~:text=service%20disruption%20event.-,Amazon%20EC2,-Between%2011%3A48) within the us-east-1 region. The incident started at Oct 20, 2025 06:48 and was detected within six minutes by our automated monitoring systems. Our teams worked to restore all core services by Oct 21, 2025 04:05. Final cleanup of backlogged processes and minor issues was completed on Oct 22, 2025. We recognize the critical role our products play in your daily operations, and we offer our sincere apologies for any impact this incident had on your teams. We are taking immediate steps to enhance the reliability and performance of our services, so that you continue to receive the standard of service you have come to trust. ### IMPACT Before examining product-level impacts, it's helpful to understand Atlassian's service topology and internal dependencies. Products such as Jira and Confluence are deployed across multiple AWS regions. The data for each tenant is stored and processed exclusively within its designated host region. This design is intentional and represents the desired operational state, as it limits the impact of any regional outage strictly to tenants in-region, in this case us-east-1. While in-scope application data is pinned to the region selected by the customer, there are times when systems need to call other internal services that may be based in a different region. If a problem occurs in the main region where these services operate, systems are designed to automatically fail over to a backup region, usually within three minutes. However, if unexpected issues arise during this failover, it can take longer to restore services. In rare cases, this could affect customers in more than one region. It’s important to note that all in-scope application data for supported products is pinned according to a customer’s chosen region. **Jira** Between Oct 20, 2025 06:48 and Oct 20, 2025 20:00, customers with tenants hosted in the us-east-1 region experienced increased error rates when accessing core entities such as Issues, Boards, and Backlogs. This disruption was caused by AWS's inability to allocate AWS EC2 instances and elevated errors in AWS Network Load Balancer \(NLB\). During this window, users may also have observed intermittent timeouts, slow page loads, and failures when performing operations like creating or updating issues, loading board views, and executing workflow transitions. Between Oct 20, 2025 08:36 and Oct 20, 2025 09:23, customers across all regions experienced elevated failure rates when attempting to load Jira pages. This disruption was caused by the regional frontend service entering an unhealthy state during this specific time interval. Normally, the frontend service connects to the primary AWS DynamoDB instance located in the us-east-1 to retrieve the most recent configuration data necessary for proper operation. Additionally, the service is designed with a fallback mechanism that references static configuration data in the event that the primary database becomes inaccessible. Unfortunately, a latent bug existed in the local fallback path. When the frontend service nodes restarted, they were unable to load critical operational configuration data from primary or fallback sources, leading to the observed failures experienced by customers. Between Oct 20, 2025 06:48 and Oct 21, 2025 06:30, customers experienced significant delays and missing Jira in-app notifications across all regions. The notification ingestion service, which is hosted exclusively in us-east-1, exhibited an increased failure rate when processing notification messages due to AWS EC2 and NLB issues. This issue resulted in notifications being delayed - and in some cases, not delivered at all - to users worldwide. **Jira Service Management \(JSM\)** JSM was impacted similarly to Jira above, with the same timeframes and for the same reasons. Between Oct 20, 2025 08:36 and Oct 20, 2025 09:23, customers across all regions experienced significantly elevated failure rates when attempting to load JSM pages. This affected all JSM experiences including the Help Centre, Portal, Queues, Work Items, Operations, and Alerts. **Confluence** Between Oct 20, 2025 06:48 and Oct 21, 2025 02:45, customers using Confluence in the us-east-1 region experienced elevated failure rates when performing common operations such as editing pages or adding comments. The primary cause of this service degradation was the system's inability to auto-scale due to AWS EC2 issues to manage peak traffic load effectively. Though the AWS outage ended at Oct 20, 21:09, a subset of customers continued to experience failures as some Confluence web server nodes across multiple clusters remained in an unhealthy state. This was ultimately mitigated by recycling the affected nodes. To protect our systems while AWS recovered, we made a deliberate decision to enable node termination protection. This action successfully preserved our server capacity but, as a trade-off, it extended the time required for a full recovery once AWS services were restored. **Automation** Between Oct 20, 2025 06:55 and Oct 20, 2025 23:59, automation customers whose rules are processed in us-east-1 experienced delays of up to 23 hours in rule execution. During this window, some events triggering rule executions were processed out of order because they arrived later during backlog processing. This caused potential inconsistencies in workflow executions, as rules were run in the order events were received, not when the action causing the event occurred. Additionally, some rule actions failed because they depend on first-party and third-party systems, which were also affected by the AWS outage. Customers can see most of these failures in their audit logs; however, a few updates were not logged due to the nature of the outage. By Oct 21, 2025 5:30, the backlog of rule runs in us-east-1 was cleared. Although most of these delayed rules were successfully handled, there were some additional replays of events to ensure completeness. Our investigation confirmed that a few events may never have triggered their associated rules due to the outage. Between Oct 20, 2025 06:55 and Oct 20, 2025 11:20, all non-us-east-1 regional automation services experienced delays of up to 4 hours in rule execution. This was caused by an upstream service that was unable to deliver events as expected. The delivery service encountered a failure due to a cross-region dependency call to a service hosted in the us-east-1 region. Because of this dependency issue, the delivery service was unable to successfully deliver events throughout this time frame, resulting in customer-defined rules not being executed in a timely manner. **Bitbucket and Pipelines** Between Oct 20, 2025 06:48 and Oct 20, 2025 09:33, Bitbucket experienced intermittent unavailability across core services. During this period, users faced increased error rates and latency when signing in, navigating repositories, and performing essential actions such as creating, updating, or approving pull requests. The primary cause was an AWS DynamoDB outage that impacted downstream services. Between Oct 20, 2025 06:48 and Oct 20, 2025 22:46, numerous Bitbucket Pipeline steps failed to start, stalled mid-execution, or experienced significant queueing delays. Impact varied, with partial recoveries followed by degradation as downstream components re-synchronized. The primary cause was an AWS DynamoDB outage, compounded by instability in AWS EC2 instance availability and AWS Network Load Balancers. Furthermore, Bitbucket Pipelines continued to experience a low but persistent rate of step timeouts and scheduling errors due to AWS bare-metal capacity shortages in select availability zones. Atlassian coordinated with AWS to provision additional bare-metal hosts and addressed a significant backlog of pending pods, successfully restoring services by 01:30 on Oct 21, 2025. **Trello** Between Oct 20, 2025 06:48 and Oct 20, 2025 15:25, users of Trello experienced widespread service degradation and intermittent failures due to upstream AWS issues affecting multiple components, including AWS DynamoDB and subsequent AWS EC2 capacity constraints. During this period, customers reported elevated error rates when loading boards, opening cards, adding comments or attachments. **Login** Between Oct 20, 2025 06:48 and Oct 20, 2025 09:30, a small subset of users experienced failures when attempting to initiate new login sessions using SAML tokens. This resulted in an inability for those users to access Atlassian products during that time period. However, users who already had valid active sessions were not affected by this issue and continued to have uninterrupted access. The issue impacted all regions globally because regional identity services relied on a write replica located in the us-east-1 region to synchronize profile data. When the primary region became unavailable, the failover to a secondary database in another region failed, which delayed recovery. This failover defect has since been addressed. **Statuspage** Between Oct 20, 2025 06:48 and Oct 20, 2025 09:30, Statuspage customers who were not already logged in to the management portal were unable to log in to create or update incident statuses. This impact was restricted only to users who were not already logged in at the time. The root cause was the same as described in the Login section above, and it was resolved by the same remediation steps. ### REMEDIAL ACTION PLAN & NEXT STEPS We have completed the following critical actions designed to help prevent cross-region impact from similar issues: * Resolved the code defect in the fallback option to ensure that Jira Frontend Services in other regions remain unaffected during a region-wide outage. * Fixed the issue that prevented timely failover of the identity service which impacted new login sessions. * Resolved the code defect so that delivery services in unaffected regions remain operational during region-wide outages. Additionally, we are prioritizing the following improvement actions: * Implement mitigation strategies to strengthen resilience against region-wide outages in the notification ingestion service. Although disruptions to our cloud services are sometimes unavoidable during outages of the underlying cloud provider, we continuously evaluate and improve test coverage to strengthen resilience of our cloud services against these issues. We recognize the critical importance of our products to your daily operations and overall productivity, and we extend our sincere apologies for any disruptions this incident may have caused your teams. If you were impacted and require additional details for internal post-incident reviews, please reach out to your Atlassian support representative with affected timeframes and tenant identifiers so we can correlate logs and provide guidance. Thanks, Atlassian Customer Support

1. 12 septembre 2025 à 20:43 UTCmonitoring

   From 5:03 AM ET to 4:15 PM ET, some customers were unable to record Zoom meetings using Loom Meeting Recordings. Attempts made during this time may appear in your library but will not be playable, as no recording was captured. Unfortunately, these recordings cannot be recovered. We have released a fix and we are monitoring recovery.

2. 12 septembre 2025 à 22:14 UTCresolved

   The issue has been resolved and the service is operating normally.

1. 8 septembre 2025 à 21:46 UTCresolved

   From 5:20AM to 3:45PM UTC today some customers using the Loom Chrome Extension experienced issues with recording. Looms recorded during this time may show up in the library but will not be playable. Unfortunately we are unable to recover these videos. If you are still experiencing this issue please make sure you are recording with extension version 5.5.121.

1. 15 août 2025 à 19:35 UTCidentified

   We are investigating reports of issues for Loom customers. Including names showing as IDs. We will provide more details once we identify the cause.

2. 15 août 2025 à 19:50 UTCmonitoring

   We have identified the cause of the issues and we are monitoring recovery.

3. 15 août 2025 à 19:58 UTCresolved

   Between 18:45 and 19:35 UTC we experienced degraded functionality for Loom. The issue has been resolved and the service is operating normally.

1. 14 avril 2025 à 19:07 UTCidentified

   Customers are unable to choose a monthly plan when upgrading or purchasing from loom.com. We are investigating this issue.

2. 14 avril 2025 à 19:30 UTCmonitoring

   A fix has been implemented and we are monitoring the results

3. 14 avril 2025 à 19:34 UTCresolved

   This issue is now resolved and customers can checkout as expected.