Loom の障害履歴

1. 2026年5月8日 3:00 UTCinvestigating

   複数のアトラスシアン製品に問題があります。 当社のチームは、1時間以内に共有されるなど、さらなるアップデートを調査しています.

2. 2026年5月8日 4:10 UTCidentified

   当社は、この問題の根本的な原因は、当社のパブリッククラウドプロバイダからのインフラ不足に関連していることを認識しました。 私たちは、この問題を緩和するためにそれらに密接に取り組んでいます。 ご利用いただくと、更なるアップデートをいたします.

3. 2026年5月8日 4:10 UTCidentified

   当社のチームは、パブリッククラウドプロバイダからインフラの不足を緩和し続けています。 ご利用いただく際は、さらなるアップデートを実施いたします.

4. 2026年5月8日 4:10 UTCidentified

   私たちは、この問題を軽減するために、当社のパブリッククラウドプロバイダと協力しています。 弊社では、アメリカ東部の地域での回復状況を把握していますが、グローバルでは特定の製品の機能の問題が発生することがあります。 各商品ページの下部にリストされています.

5. 2026年5月8日 5:53 UTCmonitoring

   非同期イベント処理に影響した公共インフラにおける基礎の問題は緩和され、すべての影響を受けたサービスは回復しています。 キューされたイベントのバックログをクリアする作業をしています。これは、いくつかのアクション(通知、自動化トリガー、データ同期など)が劣化した状態にあることを意味します。 今後もバックログをクリアしてアップデートを監視・提供してまいります.

6. 2026年5月8日 8:03 UTCmonitoring

   今後もサービスの回復を続けてまいります。 現在、キューされたイベントのバックログをクリアするプロセスにあります。 1時間程度で更新を行います.

7. 2026年5月8日 11:12 UTCmonitoring

   当社のサービスは現在、フル稼働中です。 今後も、事件で見逃されたイベントを再再生し、良い進行をしています。 再生完了後、さらにアップデートを行います。 ご不明な点がございましたら、サポートチームまでお問い合わせください。 皆様のお越しを心よりお待ちしております.

8. 2026年5月8日 19:45 UTCresolved

   2026年5月8日、アトラスシアン製品を活用した一部の顧客は、高い誤差率と劣化性能を経験しました。 問題は解決され、サービスはすべての影響を受けた顧客のために普通作動しています.

9. 2026年5月20日 6:57 UTCpostmortem

   それ以外の場合は、以下のすべての日付と時刻がUTCに含まれています。 #### 概要 5 月 8, 2026 間に 00:22 と 06:08, 私たちのホスティングプロバイダの 1 つは、特定の可用性ゾーンで重要な事件を抱えていました 特定のアベイラビリティ エリアの特定のパフォーマンスと背景の動作と自動化の実行の低下を経験したアトラスの顧客. 2026年5月8日(火)からスタートし、自動監視システムで4分以内に検出されました。 当社のチームは、コアアクセスを 06:08 で復元するために働いた。 19:15 年までに、後方工程の最終クリーンアップとマイナーな問題が進行しました。 ##**インパクト** このインシデントで影響を受けた主なインフラは、アトラスシアンサービスと自動化の実行、検索インデックス作成、通知、アクセス許可同期などのバックグラウンド操作でイベントを配信するイベント処理パイプラインでした。 * ホスティングプロバイダのインフラインシデントである 00:22 と 06:08 の間は、イベント処理パイプラインの混雑障害を引き起こしました。 ※02.50では、イベントの混雑が予想外の空室に失敗し、ライブイベントの進行を回復させました。 * で 06:08, プロの東で新しい摂取のための信頼性は100%に回復しました. 残りの作業は、17:00までに完了したメッセージの蓄積された交差レギオンバックログに排水されました。 * 18:48 年までに、処理中に作られたイベントのバックログを自動化 **オートメーション** 00:22 と 02:50 の間、プロド・イースト地域発祥の出来事によってトリガーされた自動化ルールを持つ顧客は、ルールの実行を大幅に削減しました。 このウィンドウでは、トリガーされたイベントが配信されていないため、イベントをトリガーした自動化ルールは発動していませんでした。 ルール作成、保存、ルールは、スケジュールによって手動でトリガーされ、またはWebhooksによって影響を受けませんでした。 02:50 年、イベント処理インフラは、予想外の空室に失敗し、ライブイベントの配信を自動化し、新しいイベントをトリガーしたルールを正常に実行できるようにしました。 ただし、自動処理を遅らせる前に、衝撃ウィンドウで発生するイベントは再再生する必要がありました。 08:28 以降、上流サービスは調整されたシーケンスでキューされたイベントを再生し、すべての再生イベントは 18:48 によって処理されました。 再生ウィンドウでは、予想以上に後続する自動化ルールを経験するかもしれません。圧縮された再生による日々の処理限界に達したルールの数が少なく、内部のタイムアウトのしきい値が上回っていると予想通りに時間感度の高いルールが補完されないことがあります。 **JiraとJiraのサービス管理** 00:22 と 02:50 の間に, 先斗地区でホストされているテナントを持つ顧客は、Jira と Jira サービス管理イベント主導の機能に混乱を経験しました オートメーション, インフラの故障時に、高度なエラーの短い期間と一緒に. 問題の見解、ボード、プロジェクトナビゲーションなど、コア・ジラの経験は、インシデント全体で利用できます。 Jiraイベントの配送は、問題のライフサイクルイベントを受信するダウンストリームサービスを防ぐ、主な影響を受けました。 この影響を受けた自動化ルールは、Jira のイベント、AI エージェントのオーケストレーション、問題の更新と移行の通知、新しく作成または変更された問題の検索インデックス、および Jira と他の Atlassian 製品間のイベント主導の統合によってトリガーされます。 02:50 年、イベント処理インフラが予想外の空室に故障し、新しいイベントの配信を復元しました。 インパクトウィンドウで生成されたすべてのイベントは、回復キューに保持され、再再生が必要です。 8月28日(土)から12月12日(日)まで 再生ウィンドウでは、顧客は、期待以上に後続して実行する自動化ルールを経験するかもしれません。トリガーアクションの後、通知を遅延させ、インパクトウィンドウで作成または変更されたコンテンツの検索結果の一時的なギャップ、およびAIエージェントのワークフローは、内部のタイムアウトのしきい値が上回る予定どおりに完了しません。 **影響** 00:22 と 02:50 の間に, 繁殖地域にホストされているテナントの顧客は、紛争でイベント主導のサービスに混乱を経験しました. これにより、インデックス、通知、自動化ルールの実行、および権限同期の検索が遅延します。 進行中のイベント処理インフラストラクチャは、通常、Confluenceオペレーションが再開した後、影響を受けない可用性ゾーンに失敗しました。 しかしながら、インパクトウィンドウで生成されたイベントは再生のためにキュートされ、その再生と関連する検証作業が完了するまで、一部のバックグラウンドサービスが遅延するようになりました。 10:14と17:00の間に、すべてのキュートテナントリプレイタスクの一括リプレイが完了し、データの一貫性を回復しました。 再生ウィンドウの直後には、ユーザーは、ページやコメント活動の停止、遅延または欠落通知中に作成または修正されたコンテンツを反映していない検索結果を経験しているかもしれません。 自動化ルールは、予想以上に進んでおり、増加したアイデンティティの同期に依存するテナントに対する許可同期の短い遅延が生じる可能性があります。 **BitbucketとPipelines** 00:22 と 06:08 の間、Bitbucket と Pipelines の経験豊富な障害を使用して、イベント主導のワークフロー全体で機能が劣化します。 プッシュ、プル、クローンなどのコアGit操作は、インシデント全体で正常に動作し続けられませんでした。 自動パイプラインは、衝撃ウィンドウにプッシュまたはプルリクエストイベントが利用できなくなったことで開始しました。 キューをマージしたり、チェックをマージしたり、フォージベースのトリガーやワークスペースの権限の変更、ワークスペースのプロビジョニングフローも影響しました。 マージキューを使用しての顧客は、プルリクエストをマージできませんでした。キューされた作業は、コンプレッションの上限を高めるため、いくつかのパイプラインの手順は失敗しました。 約 03:57 で, パイプラインは、代替パスを介してイベントを消費するために再構成されました, 自動パイプラインのトリガーを回復. キューをマージしたり、チェックをマージしたり、フォージトリガーしたり、その他の影響を受けたワークフローが進行方向に復元されたりするイベント処理インフラが回復しました。 Bitbucket および Pipelines サービスは 06:08 によって十分に作動確認されました。 回復後、キュートされたイベントは、請求、監査ロギングなどのバックグラウンドプロセスのデータの一貫性を回復する安全な場所を見直し、再生しました。 **アイデンティティ サービス** 00:22 と 02:50 の間に, 繁殖地域にホストされているテナントを持つ顧客は、下流アトラスシアン製品へのアイデンティティとグループメンバーシップの変更の伝搬の遅延を経験しました. 認証、ログイン、直接グループ管理アクションを含むコア・アイデンティティ・オペレーションは、インシデント全体で正常に機能し続けなかった。 影響は、イベント処理パイプラインに依存する非同期、イベント主導の操作に限定されていました。 これにより、グループメンバーとユーザープロフィールの変更をJiraやConfluenceなどの製品に配信する遅延が含まれ、下流のパーミッション同期とクラウド同期フローに影響しました。 SCIMベースのアイデンティティの同期とサイトのプロビジョニングワークフローの小さな数も一時的な遅延を経験しました。 イベント処理インフラストラクチャが回復した後、バックアップされたアイデンティティとグループディレクトリイベントが必要に応じて再再生され、影響を受けた製品に対するダウンストリームの一貫性を回復しました。 身元データが失われない グループメンバーの変更、ユーザープロファイルの更新、および影響ウィンドウの間に発生した暫定関連イベントは、回復後に保持および処理された。 ##**REMEDIAL ACTIONS PLAN & NEXT STEPS** リリース お客様の生産性に影響を及ぼす可能性を秘めています。 モニタリングと復旧プロセスは迅速に対応することができましたが、このインシデントはイベント主導のサービスに対するレジリエンスを強化する機会を強調しました。 改善を優先します。 ***エンハンスフェイルオーバーカバレッジ** 重要なイベント処理は、インフラの中断時によりスムーズに回復できます。 ※※回復処理の難しさ** 再再生イベントはより迅速に処理できます。 弊社では、この事件でサービスに影響を受けたお客様を誠意をもってお詫び申し上げます。当社は、プラットフォームのパフォーマンスと可用性を向上させるために、即時に手順を講じています。 お問い合わせ アトラスシアンカスタマーサポート.

公式のインシデント更新を自動翻訳しています。

1. 2026年4月29日 7:00 UTCinvestigating

   We are investigating degraded performance issues affecting Loom's core functionalities - authentication, recording, viewing and editing looms. We will provide more details within the next hour.

2. 2026年4月29日 7:50 UTCresolved

   The Team has identified the root cause and the issue has now been resolved, and the impacted services are operating normally. Team will continue to monitor the impacted services.

1. 2026年2月3日 10:24 UTCinvestigating

   Customers utilizing Confluence and Jira Mobile may experience disruptions in OAuth authentication flows. Forge installations and invocations might also be disrupted. Our team is actively investigating the same and we shall keep you informed of the progress within next 60 mins or sooner.

2. 2026年2月3日 10:50 UTCresolved

   Team has identified the root cause and the issue has now been resolved, and the impacted services are operating normally. Team will continue to monitor the impacted services.

1. 2025年11月19日 22:32 UTCidentified

   We are aware of some customers that are experiencing no audio when viewing their Loom recordings. Our team has identified this issue and is working urgently to restore the audio for these recordings. Please rest assured that the audio has been recorded correctly, and we expect this to be fully available when this incident is resolved. New recordings are no longer impacted by this issue. We will provide an update within two hours with our progress as the team continues to investigate.

2. 2025年11月20日 0:33 UTCidentified

   Our team believes that we have identified the cause of the issue impacting audio during playback of videos for some customers. As mentioned in our previous updates, new recordings will be working as expected, however videos recorded between 19 Nov 16:51 UTC and 19 Nov 21:30 UTC are expected to be impacted by this issue. A fix for this issue to restore audio to these recordings is now being developed and tested, and we expect to have further update within 2 hours on progress for this resolution.

3. 2025年11月20日 2:30 UTCidentified

   The fix to resolve issues on audio recordings impacted by this incident is now being prepared for deployment. Currently the expected duration of the rollout is 3 hours, at which point we expect the audio from the impacted recordings to be fully restored. We will provide further update at that time with the progress of the restoration and provide any additional information that may be required.

4. 2025年11月20日 5:39 UTCresolved

   The rollout of the fix for impacted videos without audio has now completed. Customers should now be able to review existing videos without audio and see that it has been properly restored. If you are continuing to see any issues with playback of your videos, please reach out to Loom support for assistance. We apologize for any inconvenience caused by this issue.

1. 2025年10月27日 15:35 UTCinvestigating

   Loom Cloud の顧客に影響を与える、Recording、Loom AI、認証、課金の問題について調査しています。 次回以降は詳細をご案内いたします.

2. 2025年10月27日 16:33 UTCinvestigating

   私たちは、ロームクラウドの顧客に影響を与える記録、ロームAI、認証、および請求の問題について引き続き調査しています。 調査を行い、17:35 UTC 以降にアップデートを投稿します.

3. 2025年10月27日 17:34 UTCinvestigating

   私たちは、ロームクラウドの顧客に影響を与える記録、ロームAI、認証、および請求の問題について引き続き調査しています。 物事が進行するにつれて、我々は18:35 UTCまたはより早く別の更新を投稿します.

4. 2025年10月27日 18:32 UTCinvestigating

   今後も、ローム・AI、認証、およびローム・クラウドの顧客に影響を与える請求に関する問題を積極的に調査してまいります。 お問い合わせ 物事が進行するにつれて、我々は19:35 UTCまたはより早く別の更新を投稿します.

5. 2025年10月27日 19:06 UTCmonitoring

   私たちは、ロームクラウドの顧客に影響を与える記録、ロームAI、認証、請求の問題の根本的な原因を特定しました。 問題に対処し、密接に監視できるようになりました。 20:00 UTC 以降は、物事が進行するにつれて別の更新を行います.

6. 2025年10月27日 19:59 UTCmonitoring

   私たちは、ロームクラウドの顧客に対する記録、ロームAI、認証、請求に関する問題の解決に積極的に取り組みます。 今後もモニターを継続し、21時以降にアップデートを予定しております.

7. 2025年10月27日 21:06 UTCmonitoring

   ローミング、ロームAI、認証、および一部のロームクラウド顧客の請求に影響を及ぼす問題の解決に向けたさらなる緩和を実施しました。 回復の兆候がよく見られ、全てのサービスが運用されています。 今後も、22時00分にアップデートを予定しております.

8. 2025年10月27日 22:00 UTCresolved

   2025年10月27日、12:30〜22:15 UTCの間で、ロームAI、認証、および請求サービスに影響を及ぼすパフォーマンスを低下させました。 問題を軽減するための修正をデプロイし、サービスが回復したことを検証しました。 問題を引き起こす条件が対処され、永続的修正に積極的に取り組んでいます。 問題は解決され、サービスは正常に動作しています。 社内インシデント・レビュー・プロセスが完了すると、何が間違っていたかのより詳細なpostmortemを公開し、将来的にこの出来事を防止するために取っている手順を説明します。 注意: このインシデントの結果、劣化した性能の期間中に記録された一部のロムは「積み込み」状態に残ることがあります。 これらの動画は復元できず、ユーザーのライブラリからアーカイブされています.

9. 2025年11月21日 19:49 UTCpostmortem

   #### 概要 2025年10月27日(日)12:30〜20:55 UTCのLoomは、すべてのお客様に大幅に劣化しました。 また、10月28日、2025日、20:26から20:33 UTCと10月30日、2025 19:22から19:27 UTCの劣化の短い期間を経験した。 インシデント中、ユーザーは、断続的または失敗する再生、録音、トランスクリプト生成、ログインの問題、およびサービスの全般的なエラーまたは減速の問題を経験しました。 当社のモニタリングは、これらの期間中にユーザーのインタラクションの20%〜80%の間が失敗し、インシデントの後半に失敗したことを示しています。 お客様の生産性に影響を及ぼし、この事故に遭われたお客様にお詫び申し上げます。 この事件から学ぶことをもとに、ロムの信頼性を向上するための一歩を踏み出しています。 ###分析 2025年10月25日以降、Loomのプライマリデータベースクラスターは問題の早期指標を示しています。 資源使用量は、ゆっくりと成長し、レプリケーションスロットが維持されていない。 エンジニアは2025年10月26日に警告され、調査を開始しました。 今回、顧客のインパクトの兆候は見つかりませんでしたが、ループ内で成功しないバックグラウンドジョブで問題を特定しました。 この問題の一時的な修正を発送し、翌日の調査を予定しています。 2025年10月27日(月)、使用量が増加し、顧客への影響を観察し始めた。 エンジニアは問題を密接に監視し、すぐに従事していました。 データベースが期待どおりに実行されていないことが明らかで、次の数時間以上、緩和で複数の試みをしました。 資源の圧力を緩和するために、データベースライターと2つの読者をスケールアップしました。 これは助けられなかったし、ユーザーの影響は変わりません。 次の数時間で、通常のデータベースのパフォーマンスを復元するために複数の試みを行いました。 最近の変更をロールバックし、個々のクエリのパフォーマンスを最適化し、新しいインデックスを追加し、データベースの構成を更新し、大規模なシステムとアプリケーションテーブルを真空供給しました。 これらの変更は、いくつかの短期救済を提供しました, しかし、性能は繰り返し悪化しました. リプリケーションスロットをドロップすると、リソースの圧力を解決しましたが、全体的なクエリのパフォーマンスを改善しませんでした。 その後、同一のクエリは、読者インスタンスよりも、ライターの上ではるかに高速な計画と実行をしていたので、すべてのクエリトラフィックを単一のライターインスタンスにシフトすることにしました。 顧客への影響を即座に軽減します。 このアクションは即時の問題を解決しましたが、当社のサービスの長期間の安定した状態ではありませんでした。 次の数日間に渡り、代表的なシングルライター、デュアルリーダーのアーキテクチャに戻すための複数の試みを行いました。 毎回、同じ問題が再検討され、短期間の劣化が起きました。 これらの試みのそれぞれの間に、データベースの使用状況をさらに最適化しましたが、リーダーインスタンスを追加する際に期待するパフォーマンスは見ていませんでした。 これは、当社のサービスは、単一のリーダーで期待どおりに働いたため、特に困難でした, そして、我々は唯一のクラスターに第二の読者を追加する際に、この劣化を観察しました. 2025年10月31日、縦スケーリングの試みの前に、元のアーキテクチャと同様に、より小さいインスタンスサイズでフェイルオーバーを試してみました。 これにより、Loomアーキテクチャを正常に復元し、事件を完全に緩和することができました。 ## 根本原因 広く言えば、この事件は2つの部分に分けることができます。 まず、初期の劣化は、インシデント前の月に行われた複数のローム変更によって引き起こされました。 次に、拡張緩和は、インスタンスサイズをスケーリングするという試みから予期せず発生しました。 このインシデントの最初の部分は、複数の古い変更とLoomサービスの最近の変更の複雑な相互作用によって引き起こされました。 * 長年、Loom はネストされたデータベーストランザクション、コードベースではまれなパターンを使用するバックグラウンドジョブを持っています。 ジョブ全体で親トランザクションが開き、各バッチの作業の子トランザクションが開きます。 この仕事は信頼されていますが、失敗時に何度も再試行します。 この仕事は比較的低音量で、通常は素早くですが、まれに重要なデータベースの作業が必要です。 * 過去数か月にわたり、今後の機能とマイグレーション、ロームのデータベース上のベースラインのロードとアクティビティのサポートが大幅に増加しました。 * 2025年10月14日には、今後の機能をサポートするため、Loomアプリがデータベース取引をどのように処理するかに大きく変化しました。 この変更は、テストやステージング環境でのみ効果をとることを目的としていましたが、ネストされた取引に関連する特殊なケースでは、生産にも適用されます。 ※2025年10月25日には、データベースの劣化が増加し、コンバインドの変更が遅くなる。 複数のバックグラウンドジョブが組み合わされ、失敗し、データベース上で永続的なオープントランザクションを保持するレトリーを引き起こします。 この分解されたレプリケーションスロットとオート真空は、データベース全体でテーブルのブラットにつながります。 2025年10月27日、この劣化は、利用者に影響を及ぼすようになりました。 * 初期トリガーを削除した後、データベースは劣化し続け、安定化するために重要な手動介入が必要です。 緩和を試みた1つが、(vertical instance scaling\)新しい問題を引き起こしたため、回復は複雑でした。 このインシデントの2番目の部分は、インスタンスサイズをスケーリングする初期の緩和試みによって、最初の部分から増加した負荷を処理する原因でした。 * 初期のインシデントでは、データベースリソースの使用量の増加に対応するため、インスタンスを縦にスケーリングしてより大きなサイズに移行しようとしました。 私たちは一般的に、この安全かつ頻繁に効果的な緩和を検討しています。 ※ 予期せずデータベースの劣化が悪化する。 より大きなインスタンスから観察された一種の劣化は、既に事故の第一部に観察した一種の劣化に似ていました。 クラウドプロバイダーから直接学んだ後、より大きなインスタンスサイズは、ワークロードで大幅に悪化する別のメモリアーキテクチャを使用します。 *新しい接続を開くときに、インスタンスタイプとの間のこのパフォーマンスの違いは特に明らかです。 当社の調査の一環として、DNSのロードバランスの取れたリーダーエンドポイントを指すと、過剰な接続シュールにつながる接続プールャの問題も発見しました。 そのため、2番目の読者をクラスターに追加するときに問題だけを観察し、シングルライターのシングルリーダー構成ではなく、問題だけを観察しました。 ##**是正と改善** インシデントにおける調査および緩和の取り組みの一環として、次のような問題に対処するためにすでにいくつかの重要な行動を完了しました。 ※アプリケーション内での取引処理の最適化 * 大量の問題や不適切な質問のパフォーマンスを改善しました。 *真空の状態およびテーブルのbloatの改善された監視そしてobservability。 *より容易なダバッギングのための内部工具細工の改善 *インシデント中に警告する製品バナー。 また、以下の改善活動を推進しています。 * 取引処理および監視のさらなる改善。 ※接続プールの設定の最適化 * データベースのインデックス使用の最適化。 * データベース構成の改善。 ※自動真空パラメータの改善 ※お客様のインパクトを測定・監視する改善 お問い合わせ アトラスティアン

公式のインシデント更新を自動翻訳しています。

1. 2025年10月20日 7:56 UTCinvestigating

   We have noticed that Atlassian Cloud services are impacted and our teams are actively investigating the same. We shall keep you informed of the progress every hour.

2. 2025年10月20日 8:24 UTCinvestigating

   Atlassian Cloud services are impacted and we are aware that our customers might not be able to create support tickets. Our teams are actively investigating the same. We shall keep you informed of the progress every hour.

3. 2025年10月20日 9:24 UTCinvestigating

   We are experiencing an outage due to some issue at the end of our public cloud provider. We are working closely with them to get this resolved or mitigated as quickly as possible. ETA of the same is not know at the moment. We shall continue to share updates every hour, if not sooner.

4. 2025年10月20日 9:58 UTCidentified

   We understand that our public cloud provider has identified the cause of the issue. We are starting to see some recovery and is working towards mitigation. We appreciate your patience. We shall continue to share updates every hour, if not sooner.

5. 2025年10月20日 11:07 UTCidentified

   We continue to work with our public cloud provider towards mitigating the issue at the earliest. We appreciate your patience. We shall continue to share updates every hour, if not sooner.

6. 2025年10月20日 12:06 UTCidentified

   Atlassian team is actively engaged and continues to work with our public cloud provider to mitigate this issue at the earliest. We are starting to see partial operations succeed. We appreciate your patience. We shall continue to share updates every hour, if not sooner.

7. 2025年10月20日 13:58 UTCidentified

   Our public cloud provider is working to mitigate this issue quickly. We are seeing some early positive indicators and are continuing to monitor. We appreciate your patience and will continue to provide updates every hour or sooner.

8. 2025年10月20日 14:03 UTCidentified

   We understand your pain and mitigating or fixing this issue is of utmost importance. Our public cloud provider is actively working to mitigate this issue on priority. We have been seeing partial operational success. We appreciate your patience and will continue to provide updates every hour or sooner.

9. 2025年10月20日 16:36 UTCidentified

   Update - Thank you for your continued patience. We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority. Our public cloud provider is still actively working to mitigate this issue with urgency and while we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation. We will be providing hourly updates on this issue.

10. 2025年10月20日 17:27 UTCidentified

    Update - We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority. Our public cloud provider is actively working to mitigate this issue with urgency. While we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation. We will continue to provide updates every hour or sooner as new information becomes available.

11. 2025年10月20日 17:43 UTCidentified

    We are currently aware of an ongoing incident impacting Atlassian Cloud services due to an outage with our public cloud provider, AWS. We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority and we are closely monitoring the health of AWS services. While we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation. We will continue to provide updates every hour or sooner as new information becomes available.

12. 2025年10月20日 18:38 UTCmonitoring

    There have been no changes since our last update. We will provide our next updated by 9:00PM UTC or sooner as new information becomes available. We are currently aware of an ongoing incident impacting Atlassian Cloud services due to an outage with our public cloud provider, AWS. We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority and we are closely monitoring the health of AWS services. While we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation.

13. 2025年10月20日 21:26 UTCmonitoring

    Monitoring - We've started seeing continued product experience improvement. While we still have a backlog of event processing, we are seeing improvements in systems operational capabilities across all products. We estimate a significant improvement with the next few hours and will continue to monitor the health of AWS services and the effects on Atlassian customers. We appreciate your continued patience and remain committed to full resolution as we work through this situation. We will post our next update in two hours.

14. 2025年10月20日 22:58 UTCmonitoring

    Our teams are continuing to monitor the recovery of systems across Atlassian products. This update is to inform that the Atlassian Support portal is fully operational at this time for customers that wish to contact support.

15. 2025年10月21日 0:03 UTCmonitoring

    Our team is now seeing recovery across all impacted Atlassian products. We are continuing to monitor for individual products that may still be processing backlogged items now that services are restored. The Atlassian Support portal is currently still displaying a message directing customers to our temporary support channel. Please note that our support portal is currently fully functional for those attempting to raise requests. We are continuing to look into this alert to remove this message. We will provide further update on our recovery status in one hour.

16. 2025年10月21日 1:07 UTCmonitoring

    We continue to see recovery progressing across all impacted products as backlogged items continue to be processed. The Atlassian Support portal is currently displaying a message directing customers to our temporary support channel. Please note that our support portal is currently fully functional for those attempting to raise requests. We are continuing to look into this alert to remove this message. We will provide further update on our recovery status in two hours.

17. 2025年10月21日 3:24 UTCmonitoring

    The issue relating to the Atlassian Support portal displaying a message to customers to use our temporary support channel has now been resolved. The Atlassian Support portal is fully functional for any ongoing support issues. With regards to other Atlassian products, we continue to see recovery continuing across all impacted products and our teams are continuing to monitor as the recovery continues. We will provide further update on our recovery status within two hours.

18. 2025年10月21日 5:24 UTCresolved

    Our team is now able to see full recovery across the vast majority of Atlassian products. We are aware of some ongoing issues with specific components such as migrations and JSM virtual service agents, and our team is continuing to investigate with urgency. We apologise for the inconvenience that this incident has caused and we will provide further information when the Post Incident Investigation has been completed.

19. 2025年10月24日 17:53 UTCpostmortem

    ### Postmortem publish date: Nov 19th, 2025 ### Summary All dates and times below are in UTC unless stated otherwise. Customers utilizing Atlassian products experienced elevated error rates and degraded performance between Oct 20, 2025 06:48 and Oct 21, 2025 04:05. The service disruptions were triggered due to an [AWS DynamoDB outage](https://aws.amazon.com/message/101925/#:~:text=1%3A50%20PM.-,DynamoDB,-Between%2011%3A48) and further affected by subsequent failures in [AWS EC2](https://aws.amazon.com/message/101925/#:~:text=service%20disruption%20event.-,Amazon%20EC2,-Between%2011%3A48) and [AWS Network Load Balancer](https://aws.amazon.com/message/101925/#:~:text=service%20disruption%20event.-,Amazon%20EC2,-Between%2011%3A48) within the us-east-1 region. The incident started at Oct 20, 2025 06:48 and was detected within six minutes by our automated monitoring systems. Our teams worked to restore all core services by Oct 21, 2025 04:05. Final cleanup of backlogged processes and minor issues was completed on Oct 22, 2025. We recognize the critical role our products play in your daily operations, and we offer our sincere apologies for any impact this incident had on your teams. We are taking immediate steps to enhance the reliability and performance of our services, so that you continue to receive the standard of service you have come to trust. ### IMPACT Before examining product-level impacts, it's helpful to understand Atlassian's service topology and internal dependencies. Products such as Jira and Confluence are deployed across multiple AWS regions. The data for each tenant is stored and processed exclusively within its designated host region. This design is intentional and represents the desired operational state, as it limits the impact of any regional outage strictly to tenants in-region, in this case us-east-1. While in-scope application data is pinned to the region selected by the customer, there are times when systems need to call other internal services that may be based in a different region. If a problem occurs in the main region where these services operate, systems are designed to automatically fail over to a backup region, usually within three minutes. However, if unexpected issues arise during this failover, it can take longer to restore services. In rare cases, this could affect customers in more than one region. It’s important to note that all in-scope application data for supported products is pinned according to a customer’s chosen region. **Jira** Between Oct 20, 2025 06:48 and Oct 20, 2025 20:00, customers with tenants hosted in the us-east-1 region experienced increased error rates when accessing core entities such as Issues, Boards, and Backlogs. This disruption was caused by AWS's inability to allocate AWS EC2 instances and elevated errors in AWS Network Load Balancer \(NLB\). During this window, users may also have observed intermittent timeouts, slow page loads, and failures when performing operations like creating or updating issues, loading board views, and executing workflow transitions. Between Oct 20, 2025 08:36 and Oct 20, 2025 09:23, customers across all regions experienced elevated failure rates when attempting to load Jira pages. This disruption was caused by the regional frontend service entering an unhealthy state during this specific time interval. Normally, the frontend service connects to the primary AWS DynamoDB instance located in the us-east-1 to retrieve the most recent configuration data necessary for proper operation. Additionally, the service is designed with a fallback mechanism that references static configuration data in the event that the primary database becomes inaccessible. Unfortunately, a latent bug existed in the local fallback path. When the frontend service nodes restarted, they were unable to load critical operational configuration data from primary or fallback sources, leading to the observed failures experienced by customers. Between Oct 20, 2025 06:48 and Oct 21, 2025 06:30, customers experienced significant delays and missing Jira in-app notifications across all regions. The notification ingestion service, which is hosted exclusively in us-east-1, exhibited an increased failure rate when processing notification messages due to AWS EC2 and NLB issues. This issue resulted in notifications being delayed - and in some cases, not delivered at all - to users worldwide. **Jira Service Management \(JSM\)** JSM was impacted similarly to Jira above, with the same timeframes and for the same reasons. Between Oct 20, 2025 08:36 and Oct 20, 2025 09:23, customers across all regions experienced significantly elevated failure rates when attempting to load JSM pages. This affected all JSM experiences including the Help Centre, Portal, Queues, Work Items, Operations, and Alerts. **Confluence** Between Oct 20, 2025 06:48 and Oct 21, 2025 02:45, customers using Confluence in the us-east-1 region experienced elevated failure rates when performing common operations such as editing pages or adding comments. The primary cause of this service degradation was the system's inability to auto-scale due to AWS EC2 issues to manage peak traffic load effectively. Though the AWS outage ended at Oct 20, 21:09, a subset of customers continued to experience failures as some Confluence web server nodes across multiple clusters remained in an unhealthy state. This was ultimately mitigated by recycling the affected nodes. To protect our systems while AWS recovered, we made a deliberate decision to enable node termination protection. This action successfully preserved our server capacity but, as a trade-off, it extended the time required for a full recovery once AWS services were restored. **Automation** Between Oct 20, 2025 06:55 and Oct 20, 2025 23:59, automation customers whose rules are processed in us-east-1 experienced delays of up to 23 hours in rule execution. During this window, some events triggering rule executions were processed out of order because they arrived later during backlog processing. This caused potential inconsistencies in workflow executions, as rules were run in the order events were received, not when the action causing the event occurred. Additionally, some rule actions failed because they depend on first-party and third-party systems, which were also affected by the AWS outage. Customers can see most of these failures in their audit logs; however, a few updates were not logged due to the nature of the outage. By Oct 21, 2025 5:30, the backlog of rule runs in us-east-1 was cleared. Although most of these delayed rules were successfully handled, there were some additional replays of events to ensure completeness. Our investigation confirmed that a few events may never have triggered their associated rules due to the outage. Between Oct 20, 2025 06:55 and Oct 20, 2025 11:20, all non-us-east-1 regional automation services experienced delays of up to 4 hours in rule execution. This was caused by an upstream service that was unable to deliver events as expected. The delivery service encountered a failure due to a cross-region dependency call to a service hosted in the us-east-1 region. Because of this dependency issue, the delivery service was unable to successfully deliver events throughout this time frame, resulting in customer-defined rules not being executed in a timely manner. **Bitbucket and Pipelines** Between Oct 20, 2025 06:48 and Oct 20, 2025 09:33, Bitbucket experienced intermittent unavailability across core services. During this period, users faced increased error rates and latency when signing in, navigating repositories, and performing essential actions such as creating, updating, or approving pull requests. The primary cause was an AWS DynamoDB outage that impacted downstream services. Between Oct 20, 2025 06:48 and Oct 20, 2025 22:46, numerous Bitbucket Pipeline steps failed to start, stalled mid-execution, or experienced significant queueing delays. Impact varied, with partial recoveries followed by degradation as downstream components re-synchronized. The primary cause was an AWS DynamoDB outage, compounded by instability in AWS EC2 instance availability and AWS Network Load Balancers. Furthermore, Bitbucket Pipelines continued to experience a low but persistent rate of step timeouts and scheduling errors due to AWS bare-metal capacity shortages in select availability zones. Atlassian coordinated with AWS to provision additional bare-metal hosts and addressed a significant backlog of pending pods, successfully restoring services by 01:30 on Oct 21, 2025. **Trello** Between Oct 20, 2025 06:48 and Oct 20, 2025 15:25, users of Trello experienced widespread service degradation and intermittent failures due to upstream AWS issues affecting multiple components, including AWS DynamoDB and subsequent AWS EC2 capacity constraints. During this period, customers reported elevated error rates when loading boards, opening cards, adding comments or attachments. **Login** Between Oct 20, 2025 06:48 and Oct 20, 2025 09:30, a small subset of users experienced failures when attempting to initiate new login sessions using SAML tokens. This resulted in an inability for those users to access Atlassian products during that time period. However, users who already had valid active sessions were not affected by this issue and continued to have uninterrupted access. The issue impacted all regions globally because regional identity services relied on a write replica located in the us-east-1 region to synchronize profile data. When the primary region became unavailable, the failover to a secondary database in another region failed, which delayed recovery. This failover defect has since been addressed. **Statuspage** Between Oct 20, 2025 06:48 and Oct 20, 2025 09:30, Statuspage customers who were not already logged in to the management portal were unable to log in to create or update incident statuses. This impact was restricted only to users who were not already logged in at the time. The root cause was the same as described in the Login section above, and it was resolved by the same remediation steps. ### REMEDIAL ACTION PLAN & NEXT STEPS We have completed the following critical actions designed to help prevent cross-region impact from similar issues: * Resolved the code defect in the fallback option to ensure that Jira Frontend Services in other regions remain unaffected during a region-wide outage. * Fixed the issue that prevented timely failover of the identity service which impacted new login sessions. * Resolved the code defect so that delivery services in unaffected regions remain operational during region-wide outages. Additionally, we are prioritizing the following improvement actions: * Implement mitigation strategies to strengthen resilience against region-wide outages in the notification ingestion service. Although disruptions to our cloud services are sometimes unavoidable during outages of the underlying cloud provider, we continuously evaluate and improve test coverage to strengthen resilience of our cloud services against these issues. We recognize the critical importance of our products to your daily operations and overall productivity, and we extend our sincere apologies for any disruptions this incident may have caused your teams. If you were impacted and require additional details for internal post-incident reviews, please reach out to your Atlassian support representative with affected timeframes and tenant identifiers so we can correlate logs and provide guidance. Thanks, Atlassian Customer Support

1. 2025年9月12日 20:43 UTCmonitoring

   From 5:03 AM ET to 4:15 PM ET, some customers were unable to record Zoom meetings using Loom Meeting Recordings. Attempts made during this time may appear in your library but will not be playable, as no recording was captured. Unfortunately, these recordings cannot be recovered. We have released a fix and we are monitoring recovery.

2. 2025年9月12日 22:14 UTCresolved

   The issue has been resolved and the service is operating normally.

1. 2025年9月8日 21:46 UTCresolved

   From 5:20AM to 3:45PM UTC today some customers using the Loom Chrome Extension experienced issues with recording. Looms recorded during this time may show up in the library but will not be playable. Unfortunately we are unable to recover these videos. If you are still experiencing this issue please make sure you are recording with extension version 5.5.121.

1. 2025年8月15日 19:35 UTCidentified

   We are investigating reports of issues for Loom customers. Including names showing as IDs. We will provide more details once we identify the cause.

2. 2025年8月15日 19:50 UTCmonitoring

   We have identified the cause of the issues and we are monitoring recovery.

3. 2025年8月15日 19:58 UTCresolved

   Between 18:45 and 19:35 UTC we experienced degraded functionality for Loom. The issue has been resolved and the service is operating normally.

1. 2025年4月14日 19:07 UTCidentified

   Customers are unable to choose a monthly plan when upgrading or purchasing from loom.com. We are investigating this issue.

2. 2025年4月14日 19:30 UTCmonitoring

   A fix has been implemented and we are monitoring the results

3. 2025年4月14日 19:34 UTCresolved

   This issue is now resolved and customers can checkout as expected.