Loom 장애 기록

1. 2026년 5월 8일 오전 3:00 UTCinvestigating

   여러 Atlassian 제품으로 문제를 경험하고 있습니다. 우리 팀은 1 시간 이내에 더 많은 업데이트를 투자하고 있습니다.

2. 2026년 5월 8일 오전 4:10 UTCidentified

   우리는 문제의 뿌리 원인이 우리의 공공 클라우드 공급자로부터 인프라 부족과 관련되었는지 확인했습니다. 우리는이 문제를 완화하기 위해 그들과 긴밀하게 협력하고 있습니다. 해당 이용 후기에 달린 코멘트가 없습니다.

3. 2026년 5월 8일 오전 4:10 UTCidentified

   우리의 팀은 우리의 공공 클라우드 공급자로부터 인프라 부족을 완화하기 위해 계속 노력합니다. 해당 이용 후기에 달린 코멘트가 없습니다.

4. 2026년 5월 8일 오전 4:10 UTCidentified

   우리는 우리의 공공 클라우드 공급자와 협력하여이 문제를 완화합니다. 우리는 동부 미국 이외의 지역에서 일부 복구를보고 시작하지만, 전 세계적으로 특정 제품 기능으로 문제가 발생할 수 있습니다. 각 제품 페이지의 하단에 나열되어 있습니다.

5. 2026년 5월 8일 오전 5:53 UTCmonitoring

   비동기 사건 처리에 영향을 미치는 공공 인프라에 대한 근본적인 문제는 mitigated 및 모든 영향을받는 서비스는 회복됩니다. 우리는 현재 몇 가지 행동 (예 : 알림, 자동화 트리거 및 데이터 동기화와 같은)을 의미하는 퀴즈 이벤트의 백 로그를 정리하고 있습니다. 우리는 backlog로 업데이트를 계속 모니터링하고 제공 할 것입니다.

6. 2026년 5월 8일 오전 8:03 UTCmonitoring

   서비스 복구로 상황을 모니터링합니다. 우리는 현재 queued 이벤트의 backlog를 정리하는 과정에서 있습니다. 우리는 대략 1 시간에 있는 더 갱신을 제공할 것입니다.

7. 2026년 5월 8일 오전 11:12 UTCmonitoring

   우리의 서비스는 지금 완전히 가동입니다. 우리는 사건 도중 놓은 어떤 사건든지 재생하기 위하여 계속하고, 좋은 진전을 만듭니다. 한 번 재생이 완료되면 추가 업데이트를 제공합니다. 지속적인 문제점을 경험할 경우, 우리의 지원 팀에 연락하십시오. 우리는 혼란에 대한 사과와 당신의 인내에 감사드립니다.

8. 2026년 5월 8일 오후 7:45 UTCresolved

   5 월 8, 2026, Atlassian 제품을 사용하는 일부 고객은 높은 오류율과 향상된 성능을 경험했습니다. 문제는 이제 해결되었습니다. 서비스는 일반적으로 모든 영향을받는 고객을 위해 운영됩니다.

9. 2026년 5월 20일 오전 6:57 UTCpostmortem

   아래 모든 날짜와 시간은 UTC에 명시되지 않는 한. ### 요약 5 월 8, 2026 사이 00:22 그리고 06:08, 우리의 호스팅 제공 업체 중 하나가 겪고있는 Atlassian 고객에게 고급 성능과 배경 운영 및 자동화 실행의 지연을 경험하는 prod-east의 특정 가용성 영역에서 중요한 사건. 사건은 5 월 8, 2026에서 00 : 22에서 시작하여 자동화 된 모니터링 시스템에 의해 4 분 이내에 감지되었습니다. 우리 팀은 06:08에 의해 핵심 액세스를 복원하기 위해 일했습니다. backllogging 프로세스의 최종 정리 및 미성년자 문제는 19:15에 의해 결정적으로 완료되었습니다. ### **IMPACT ** 이 사건에 영향을 미치는 주요 인프라는 Atlassian 서비스 및 자동화 실행, 검색 색인, 알림, 권한 동기화와 같은 언더핀 배경 운영과 같은 이벤트를 배포하는 유동 지역의 프로덕트 처리 파이프라인이었다. * 사이 00:22 그리고 06:08, 우리의 호스팅 제공 업체의 인프라 사고는 우리의 이벤트 처리 파이프라인에서 섭취 실패를 유발. * 02:50에, 사건 ingestion는 비공식적인 가용성 지역, 진보적으로 중단 살아있는 사건 교류에 실패했습니다. * 06:08에, 100%로 회복되는 prod-east에 있는 새로운 소화를 위한 신뢰성. 나머지 작업은 17 : 00에 의해 완료 된 메시지의 축적 된 교차 반복 백 로그를 배수했다. * 18:48에 의해 자동화는 처리하는 동안 창조된 사건의 그들의 backlog를 가공했습니다 **자동화 ** 00:22과 02:50 사이에, 자동화 규칙은 규칙 실행에 중요한 감소를 경험하는 prod-east 지역에서 시작된 사건에 의해 방아쇠를 박아낸다. 이 창 동안, 이벤트 트리거 자동화 규칙은 그 트리거가 전달되지 않았기 때문에 치열하지 않았습니다. 규칙 승인, 저장 및 규칙은 수동으로 방아쇠, 일정 또는 webhooks에 의해 영향을받지 않았습니다. 02:50에서, 이벤트 처리 인프라는 비범한 가용성 구역에 실패, 자동화에 살아있는 사건의 나머지 납품 및 일반적으로 실행하기 시작하는 새로운 이벤트 트리거 된 규칙을 허용. 그러나, 충격 창 도중 생성된 사건은 지연된 자동화가 가공되기 전에 재전송될 필요가 있었습니다. 08:28에서 시작, 업스트림 서비스는 조정 순서에 자신의 누적 된 이벤트를 재생, 모든 재생 이벤트는 18:48에 의해 처리되었다. 재생 창 도중, 고객은 예상보다 나중에 실행하는 경험있는 자동화 규칙이, 압축 재생 때문에 매일 처리 한계에 도달하는 작은 규칙의 작은 수 있고, 내부 타임 아웃 문턱이 초과된 경우에 예상하지 않는 시간 과민한 규칙. **Jira 및 Jira 서비스 관리 ** 00 : 22 및 02 : 50 사이, 유동 지역에서 호스팅 된 10 명의 직원이 Jira 및 Jira 서비스 관리 이벤트 구동 기능에 대한 중단을 경험했으며, 인프라 장애가 발생했을 때 짧은 기간 동안 업그레이드 된 오류가 있습니다. Core Jira 경험, 문제보기, 보드 및 프로젝트 탐색을 포함하여, 사건 전반에 걸쳐 사용할 수 있습니다. Jira 이벤트 납품은 1 차적인 충격에 의해 영향을 받고, 문제 lifecycle 사건을 받기에서 downstream 서비스를 방지하. Jira 이벤트에 의해 유발 된 자동화 규칙, Jira의 AI 에이전트 관현, 문제 업데이트 및 전환을위한 알림, 새로 생성 된 또는 수정 된 문제에 대한 색인 및 Jira 및 기타 Atlassian 제품 간의 이벤트 중심 통합. 02:50에, 이벤트 처리 인프라는 새로운 이벤트의 비공식적인 가용성 구역에 실패했다. 충격 창에서 생성 된 모든 이벤트는 복구 큐에 유지되고 필요한 재생. 이 시작 08:28 그리고 완료 12:00. 재생 창 도중, 고객은 예상보다 나중에 실행하는 자동화 규칙을 경험할지도 모릅니다, 방아쇠 활동 후에 도착 시간 지연된 통보, 충격 창 도중 창조된 내용을 위한 임시 간격, 및 내부 정전 문턱이 초과된 예상대로 완료하지 않는 AI 대리인 워크플로우. ** 영향력 ** 00 : 22 및 02 : 50 사이, 유동 지역에 호스팅 된 10 명의 직원이 Confluence의 이벤트 중심 서비스에 대한 파괴를 경험했습니다. 인덱스, 알림, 자동화 규칙 실행 및 권한 동기화를 검색하는 지연이 발생했습니다. 언더리닝 이벤트 처리 인프라는 오염되지 않은 가용성 영역에 실패했습니다. Confluence 작업이 일반적으로 재시작 한 후. 그러나 영향 창에서 생성 된 이벤트는 재생을 위해 누락되었으며 일부 배경 서비스는 재생 및 관련 검증 작업이 완료 될 때까지 지연됩니다. 10 : 14 및 17 : 00 사이, 모든 누적 된 열 재 재생 작업의 대량 재생은 데이터 일관성을 복원하기 위해 완료되었습니다. 재플레이 창이 끝난 후 즉시, 고객은 페이지 및 의견 활동에 대한 알림을 지연, 지연 또는 누락된 알림을 통해 생성된 컨텐츠를 반영하거나 수정하지 않은 검색 결과를 경험할 수 있습니다. 예상보다 나중에 자동화 규칙을 제출하고, 임의 정체성 동기화에 의존하는 임의 동기 부여에 대한 간단한 지연. **Bitbucket 및 파이프 라인 ** 00:22 및 06:08 사이, Bitbucket 및 Pipelines 경험 실패를 사용하여 고객 및 이벤트 구동 워크플로우를 통해 향상된 기능. Core Git 운영, Push, Pull 및 clone을 포함하여, 영향을받지 않았고, 일반적으로 사건 전반에 걸쳐 작동을 계속하지 않았습니다. 푸시 또는 풀 요청 이벤트가 시작된 자동 파이프라인 트리거는 충격 창 중에 사용할 수 없습니다. Merge queues, 사용자 정의 병합 체크, Forge 기반 방아쇠, 작업 공간 권한 변경 및 일부 작업 공간 제공 흐름도 영향을 받았다. 병합 큐를 사용하는 고객은 잡아당기기 요청을 병합할 수 없으며 일부 파이프라인 단계는 누락된 작업이 높은 통화 제한에 기여하기 때문에 실패했습니다. 약 03:57에 파이프 라인은 대체 경로로 이벤트를 소비하기 위해 재구성되었으며, 자동 파이프라인 트리거. Merge queues, 사용자 정의 병합 체크, Forge 방아쇠 및 기타 영향을받은 워크플로우는 결과적으로 복구 된 이벤트 처리 인프라로 업그레이드되었습니다. 모든 Bitbucket 및 파이프 라인 서비스는 06:08에 의해 완전히 작동 확인되었습니다. 복구 후, 누락 된 이벤트는 청구, 감사 로깅 및 기타 배경 프로세스에 대한 데이터 일관성을 복원 할 수있는 안전하고 재생되었습니다. ** ID 서비스 ** 00 : 22 및 02 : 50 사이, 전세 지역에서 호스팅되는 10 종의 고객은 정체성과 그룹 회원의 전파에 대한 지연을 다운스트림 Atlassian 제품으로 변경했습니다. 인증, 로그인 및 직접 그룹 관리 작업을 포함한 핵심 정체 작업은 일반적으로 사건 전반에 걸쳐 기능에 영향을 미쳤습니다. 영향은 이벤트 처리 파이프라인에 따라 비동기, 이벤트 구동 작업에 제한되었습니다. 이 포함 된 지연 그룹 회원 및 사용자 프로필은 Jira 및 Confluence와 같은 제품에 변경, 다운스트림 권한 동기화 및 군중 동기화 흐름에 영향을 미치는. SCIM 기반 정체성 동기화 및 사이트 제공 워크플로우도 경험있는 임시 지연. 이벤트 처리 인프라 복구 후, 백업 정체성 및 그룹 디렉토리 이벤트가 필요한 곳, 영향을받는 제품에 대한 다운스트림 일관성 복원. ID 데이터가 분실되지 않았습니다. 그룹 회원 변경, 사용자 프로필 업데이트 및 영향 창이 유지되고 복구 후 처리되는 규정 관련 이벤트. ###**REMEDIAL 옵션 플랜 및 다음 단계** 생산성에 영향을 미칩니다. 우리의 모니터링 및 복구 프로세스가 신속하게 대응하는 데 도움이되는 동안, 이 사건은 이벤트 구동 서비스에 대한 탄력을 강화하는 기회를 강조했습니다. 우리는 다음과 같은 개선 사항입니다: * **Enhance failedover 적용 ** 그래서 중요한 이벤트 처리는 인프라 중단 중에 더 원활하게 복구 할 수 있습니다. * **Strengthen 복구 처리 ** 그래서 재생 이벤트는 더 빨리 처리 될 수 있습니다. 우리는이 사건에 영향을 미치는 고객에게 사과합니다. 우리는 플랫폼의 성능과 가용성을 개선하기 위해 즉각적인 조치를 취합니다. 감사합니다, Atlassian 고객 지원.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 4월 29일 오전 7:00 UTCinvestigating

   We are investigating degraded performance issues affecting Loom's core functionalities - authentication, recording, viewing and editing looms. We will provide more details within the next hour.

2. 2026년 4월 29일 오전 7:50 UTCresolved

   The Team has identified the root cause and the issue has now been resolved, and the impacted services are operating normally. Team will continue to monitor the impacted services.

1. 2026년 2월 3일 오전 10:24 UTCinvestigating

   Customers utilizing Confluence and Jira Mobile may experience disruptions in OAuth authentication flows. Forge installations and invocations might also be disrupted. Our team is actively investigating the same and we shall keep you informed of the progress within next 60 mins or sooner.

2. 2026년 2월 3일 오전 10:50 UTCresolved

   Team has identified the root cause and the issue has now been resolved, and the impacted services are operating normally. Team will continue to monitor the impacted services.

1. 2025년 11월 19일 오후 10:32 UTCidentified

   We are aware of some customers that are experiencing no audio when viewing their Loom recordings. Our team has identified this issue and is working urgently to restore the audio for these recordings. Please rest assured that the audio has been recorded correctly, and we expect this to be fully available when this incident is resolved. New recordings are no longer impacted by this issue. We will provide an update within two hours with our progress as the team continues to investigate.

2. 2025년 11월 20일 오전 12:33 UTCidentified

   Our team believes that we have identified the cause of the issue impacting audio during playback of videos for some customers. As mentioned in our previous updates, new recordings will be working as expected, however videos recorded between 19 Nov 16:51 UTC and 19 Nov 21:30 UTC are expected to be impacted by this issue. A fix for this issue to restore audio to these recordings is now being developed and tested, and we expect to have further update within 2 hours on progress for this resolution.

3. 2025년 11월 20일 오전 2:30 UTCidentified

   The fix to resolve issues on audio recordings impacted by this incident is now being prepared for deployment. Currently the expected duration of the rollout is 3 hours, at which point we expect the audio from the impacted recordings to be fully restored. We will provide further update at that time with the progress of the restoration and provide any additional information that may be required.

4. 2025년 11월 20일 오전 5:39 UTCresolved

   The rollout of the fix for impacted videos without audio has now completed. Customers should now be able to review existing videos without audio and see that it has been properly restored. If you are continuing to see any issues with playback of your videos, please reach out to Loom support for assistance. We apologize for any inconvenience caused by this issue.

1. 2025년 10월 27일 오후 3:35 UTCinvestigating

   Loom Cloud 고객에 영향을 미치는 기록, Loom AI, 인증 및 청구 문제를 조사하고 있습니다. 우리는 다음 시간 내에 더 많은 정보를 제공 할 것입니다.

2. 2025년 10월 27일 오후 4:33 UTCinvestigating

   Loom Cloud 고객에 영향을 미치는 기록, Loom AI, Authentication 및 청구 문제를 조사하고 있습니다. 우리는 투자하고 17 : 35 UTC 또는 더 빨리 업데이트합니다.

3. 2025년 10월 27일 오후 5:34 UTCinvestigating

   Loom Cloud 고객에 영향을 미치는 기록, Loom AI, Authentication 및 청구 문제를 조사하고 있습니다. 우리는 다른 업데이트를 게시 할 것이다 18:35 UTC 또는 더 빨리, 일 진행으로.

4. 2025년 10월 27일 오후 6:32 UTCinvestigating

   Loom Cloud 고객에 영향을 미치는 기록, Loom AI, 인증 및 청구 문제를 적극적으로 조사하고 있습니다. 우리는 당신의 인내를 평가합니다. 우리는 다른 업데이트를 게시 할 것이다 19:35 UTC 또는 더 빨리, 일 진행으로.

5. 2025년 10월 27일 오후 7:06 UTCmonitoring

   우리는 일부 Loom Cloud 고객에 영향을 미치는 기록, Loom AI, 인증 및 청구 문제의 뿌리 원인을 확인했습니다. 우리는 문제를 해결하기 위해 소송을 구현하고 이제 밀접하게 모니터링하고 있습니다. 우리는 20:00 UTC 또는 더 빨리, 일 진행으로 다른 업데이트를 제공 할 것입니다.

6. 2025년 10월 27일 오후 7:59 UTCmonitoring

   우리는 기록, Loom AI, 인증 및 일부 Loom Cloud 고객에 대한 청구에 영향을 미치는 문제를 해결하기 위해 더 많은 완화를 적극적으로 수행하고 있습니다. 우리는 바싹 모니터링하고 다른 업데이트를 제공 할 것이다 21:00 UTC 또는 더 빨리, 일 진행으로.

7. 2025년 10월 27일 오후 9:06 UTCmonitoring

   우리는 기록, Loom AI, 인증 및 일부 Loom Cloud 고객 청구에 영향을 미치는 문제를 해결하기 위해 더 많은 완화를 구현했습니다. 우리는 회복과 모든 서비스의 좋은 징후를보고있다. 우리는 바싹 모니터링하고 22:00 UTC 또는 더 빨리, 일 진행으로 다른 업데이트를 제공 할 것입니다.

8. 2025년 10월 27일 오후 10:00 UTCresolved

   10월 27, 2025일, 12:30과 22:15 UTC 사이, 우리는 기록에 영향을 미치는 성능, Loom AI, 인증 및 일부 직조 고객을 청구 서비스를 경험했습니다. 우리는 문제를 완화하고 서비스가 복구되었는지 확인하기 위해 수정을 배포했습니다. 문제가 해결 된 상태이며 영구적 인 수정에 적극적으로 노력하고 있습니다. 문제는 해결되고 서비스는 일반적으로 작동합니다. 우리는 우리의 내부 사건 검토 과정을 완료하면, 우리는 우리가 미래에 다시 일어나기에서 이것을 방지하기 위해 노력하는 단계와 함께 무엇이 잘못되었는지 더 상세한 postmortem을 게시 할 것입니다. 참고 : 이 사건의 결과로, 성적이 "업로드"상태에서 남아있을 수 있는 동안 기록 된 일부 직사. 이 동영상은 복구되지 않으며, 사용자의 라이브러리에서 보관되었습니다.

9. 2025년 11월 21일 오후 7:49 UTCpostmortem

   ### 요약 10월 27일 오후 12시 30분과 20시 55분 UTC 사이로, Loom은 모든 고객을 위해 크게 향상되었습니다. 사용자는 또한 10 월 28, 2025에서 20 : 26에서 20 : 33의 UTC 및 10 월 30, 2025 19 : 22에서 19 : 27의 UTC로 축하의 짧은 기간을 경험했습니다. 사건 도중, 사용자는 intermittent를 가진 문제점을 경험하거나 재생, 기록, 성적표 발생, 문제 기록, 및 서비스의 맞은편에 일반적인 과실 또는 느린. 우리의 모니터링은 사용자 상호 작용의 20 %와 80 %가 이러한 기간 동안 실패하고 사건의 절반 이상 성장했습니다. 우리는 당신의 생산성에 영향을 미치는 것을 알고 우리는이 사건에 영향을 미치는 고객에게 사과합니다. 우리는 이 사건에서 우리의 학습을 기반으로 Loom의 신뢰성을 개선하기 위해 즉각적인 조치를 취하고 있습니다. ### 분석 10 월 25, 2025에 시작, Loom의 기본 데이터베이스 클러스터는 문제의 초기 지표를 보여. 자원 사용은 천천히 성장하고 복제 슬롯은 유지되지 않았습니다. 엔지니어는 10 월 26, 2025에 경고하고 조사를 시작했다. 우리는이 시간에 고객 영향의 징후가 없었다, 그러나, 우리는 반복에서 unsuccessfully 실행되는 복원 배경 작업에 문제가 발견했다. 우리는이 문제에 대한 임시 수정을 발송하고 다음 날을 조사 할 계획. 월요일, 10 월 27, 2025, 사용량이 증가함에 따라 문제가 다시 서핑되었습니다. 고객 영향을 관찰하기 시작했습니다. 엔지니어는 문제를 밀접하게 감시하고 즉시 관여시켰습니다. 그것은 우리의 데이터베이스가 예상대로 수행되지 않았고, 다음 몇 시간 동안, 우리는 완화에 여러 시도를했다. 물론, 우리는 데이터베이스 작가와 두 개의 리더를 확장하여 자원 압력을 완화합니다. 이것은 도움이되지 않았고, 사용자의 영향은 변경되지 않았습니다. 다음 몇 시간 동안, 우리는 정상적인 데이터베이스 성능을 복원하는 여러 시도를했다. 최근 변경 사항, 최적화된 개별 쿼리 성능, 새로운 인덱스 추가, 업데이트된 데이터베이스 구성 및 진공 대형 시스템 및 응용 테이블. 이러한 변화는 단기 구호를 제공하지만, 반복적으로 악화 된 성능. 우리의 복제 슬롯이 리소스 압력을 해결했지만 전반적인 쿼리 성능을 향상하지 않았습니다. 우리는 동일한 쿼리가 계획하고 우리의 리더 인스턴스보다 작가에 훨씬 빨리 실행하는 것을 관찰, 그래서 우리는 단일 작성자 인스턴스에 모든 쿼리 트래픽을 이동하기로 결정. 이 변화는 즉각 고객 영향을 미쳤습니다. 이 행동이 즉각적인 문제를 해결하는 동안, 그것은 우리의 서비스 장기를 위한 안정되어 있는 국가가 아닙니다. 다음 몇 일 동안, 우리는 우리의 전형적인 단일 라이터, 이중 러닝 아키텍처에 반대하는 여러 시도를 만들었습니다. 각 시간, 우리는 같은 문제 resurface를 보았다, degradation의 짧은 기간에 결과. 이러한 시도의 각각에, 우리는 우리의 데이터베이스 사용에 더 최적화를했다, 그러나 우리는 여전히 우리의 독자 인스턴스를 추가 할 때 예상되는 성능을 볼 수 없었다. 이 서비스는 단일 리더로 예상되기 때문에 특히 도전했으며, 클러스터에 두 번째 리더를 추가 할 때이 공조를 관찰했습니다. 10월 31일, 2025년, 우리는 수직 스케일링 시도 이전에 우리의 원래 건축과 유사한 더 작은 인스턴스 크기로 실패를 시도했습니다. 이 성공, 정상에 Loom 아키텍처를 복원하고 사건을 완전히 완화. ### 뿌리 원인 광대하게 말하자면, 이 사건은 2개 부품으로 분할될 수 있습니다. 첫 번째, 초기 등급은 사건의 몇 달 전에 만들어진 여러 Loom 변경에 의해 발생했습니다. 두 번째, 확장 된 완화는 예기치 않게 우리의 시도에서 결과로 인스턴스 크기를 스케일링. 이 사건의 첫 번째 부분은 Loom 서비스에 대한 여러 오래된 최근 변경의 복잡한 상호 작용에 의해 발생했습니다. * 몇 년 동안, Loom은 배열 된 데이터베이스 트랜잭션을 사용하는 배경 작업을 가지고, 우리의 codebase의 드문 패턴. 부모 거래는 각 작업의 배치에 대한 어린이 거래와 함께 전체 작업을 위해 열려 있습니다. 이 직업은 믿을 수 있, 그러나 실패의 사건에 있는 다수 시간 구호할 것입니다. 이 작업은 상대적으로 낮은 볼륨이며 일반적으로 빠른이지만 희귀 한 경우에 중요한 데이터베이스 작업이 필요할 수 있습니다. * 지난 몇 달 동안, Loom의 데이터베이스에서 다가오는 기능과 마이그레이션, 기본 로드 및 활동을 지원하기 위해 크게 증가했습니다. * 10 월 14, 2025, 또한 곧 기능을 지원하기 위해, 넓은 변화는 Loom 앱이 데이터베이스 트랜잭션을 처리하는 방법을 만들었습니다. 이 변화는 우리의 시험과 staging 환경에 있는 효력을 가지고만 예정되었지만, 배열된 거래와 관련된 특별한 경우에, 그것은 또한 생산에서 적용됩니다. * 10 월 25, 2025, 결합 된 변경은 느린, 우리의 데이터베이스의 분해 증가. 몇 가지 큰 배경 작업이 결합되고 실패, 데이터베이스에 영구적 인 개방 거래를 유지하기 위해 retries. 이 degraded 복제 슬롯과 autovacuum, 데이터베이스를 통해 테이블 bloat에 선도. 10 월 27 일, 2025 년,이 축하는 우리의 사용자에 영향을 미쳤습니다. * 초기 방아쇠를 제거 한 후 데이터베이스가 급증하고 안정시키는 중요한 수동 개입을 요구했습니다. 복구는 하나의 시도 된 mitigation \ (vertical 인스턴스 scaling\)이 새로운 문제를 유발했기 때문에 복잡했습니다. 이 사건의 두 번째 부분은 우리의 이전 완화 시도에 의해 발생되었다 우리의 인스턴스 크기를 스케일링 첫 번째 부분에서 증가 부하를 처리: * 초기 사건에서 데이터베이스 리소스 사용량 증가에 대한 응답에서, 우리는 더 큰 크기로 우리의 인스턴스를 스케일링하여 mitigate에 시도. 우리는 일반적으로이 안전하고 종종 효과적인 완화를 고려합니다. * 이 변경 예기치 않게 데이터베이스 degradation을 더 악화. 더 큰 인스턴스에서 관찰 된 degradation의 종류는 이미 사건의 첫 부분에서 관찰 된 토론의 종류와 유사했습니다. 더 큰 인스턴스 크기가 우리의 워크로드에 크게 악화되는 별도의 메모리 아키텍처를 사용하는 우리의 클라우드 공급자로부터 직접 배운 후. * 인스턴스 유형의 이 성능 차이는 특히 새로운 연결을 열 때 분명합니다. 우리의 조사의 일부로서, 우리는 또한 DNS 부하 균형 리더 엔드포인트에 지적 할 때 과잉 연결 churn에 리드 우리의 연결 풀러와 문제가 발견. 이것은 우리가 클러스터에 두 번째 리더를 추가 할 때만 관찰 된 문제를 설명하고 단일 라이터 단일 러닝 구성과는 없습니다. ###**치료 및 개선** 우리의 조사 및 소송 노력의 일부로서, 우리는 이미 같은 문제를 해결하기 위해 몇 가지 중요한 작업을 완료했습니다. * 우리의 응용 프로그램 내에서 최적화된 거래 처리. * 높 부피 및 빈약한 형성 쿼리의 향상된 성능. * 진공 상태 및 테이블 bloat의 개량된 감시 그리고 관측성. * 더 쉬운 debugging를 위한 내부 장식새김 개선 * In-product 배너는 사건 중 사용자를 경고합니다. 또한, 우리는 다음과 같은 개선 작업을 우선화하고있다 : * 거래 처리 및 모니터링에 대한 추가 개선. * 우리의 연결 풀 구성의 최적화. * 데이터베이스 인덱스 사용 최적화. * 데이터베이스 구성 개선. * autovacuum 모수에 개량. * 우리가 측정하고 고객 충격을 감시하는 방법에 개량. 감사합니다. 아틀라스

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2025년 10월 20일 오전 7:56 UTCinvestigating

   We have noticed that Atlassian Cloud services are impacted and our teams are actively investigating the same. We shall keep you informed of the progress every hour.

2. 2025년 10월 20일 오전 8:24 UTCinvestigating

   Atlassian Cloud services are impacted and we are aware that our customers might not be able to create support tickets. Our teams are actively investigating the same. We shall keep you informed of the progress every hour.

3. 2025년 10월 20일 오전 9:24 UTCinvestigating

   We are experiencing an outage due to some issue at the end of our public cloud provider. We are working closely with them to get this resolved or mitigated as quickly as possible. ETA of the same is not know at the moment. We shall continue to share updates every hour, if not sooner.

4. 2025년 10월 20일 오전 9:58 UTCidentified

   We understand that our public cloud provider has identified the cause of the issue. We are starting to see some recovery and is working towards mitigation. We appreciate your patience. We shall continue to share updates every hour, if not sooner.

5. 2025년 10월 20일 오전 11:07 UTCidentified

   We continue to work with our public cloud provider towards mitigating the issue at the earliest. We appreciate your patience. We shall continue to share updates every hour, if not sooner.

6. 2025년 10월 20일 오후 12:06 UTCidentified

   Atlassian team is actively engaged and continues to work with our public cloud provider to mitigate this issue at the earliest. We are starting to see partial operations succeed. We appreciate your patience. We shall continue to share updates every hour, if not sooner.

7. 2025년 10월 20일 오후 1:58 UTCidentified

   Our public cloud provider is working to mitigate this issue quickly. We are seeing some early positive indicators and are continuing to monitor. We appreciate your patience and will continue to provide updates every hour or sooner.

8. 2025년 10월 20일 오후 2:03 UTCidentified

   We understand your pain and mitigating or fixing this issue is of utmost importance. Our public cloud provider is actively working to mitigate this issue on priority. We have been seeing partial operational success. We appreciate your patience and will continue to provide updates every hour or sooner.

9. 2025년 10월 20일 오후 4:36 UTCidentified

   Update - Thank you for your continued patience. We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority. Our public cloud provider is still actively working to mitigate this issue with urgency and while we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation. We will be providing hourly updates on this issue.

10. 2025년 10월 20일 오후 5:27 UTCidentified

    Update - We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority. Our public cloud provider is actively working to mitigate this issue with urgency. While we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation. We will continue to provide updates every hour or sooner as new information becomes available.

11. 2025년 10월 20일 오후 5:43 UTCidentified

    We are currently aware of an ongoing incident impacting Atlassian Cloud services due to an outage with our public cloud provider, AWS. We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority and we are closely monitoring the health of AWS services. While we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation. We will continue to provide updates every hour or sooner as new information becomes available.

12. 2025년 10월 20일 오후 6:38 UTCmonitoring

    There have been no changes since our last update. We will provide our next updated by 9:00PM UTC or sooner as new information becomes available. We are currently aware of an ongoing incident impacting Atlassian Cloud services due to an outage with our public cloud provider, AWS. We understand the impact this issue is having on your operations and want to assure you that resolving this matter is our highest priority and we are closely monitoring the health of AWS services. While we do not have a definitive ETA at this time, we remain committed to full resolution and deeply appreciate your patience as we work through this situation.

13. 2025년 10월 20일 오후 9:26 UTCmonitoring

    Monitoring - We've started seeing continued product experience improvement. While we still have a backlog of event processing, we are seeing improvements in systems operational capabilities across all products. We estimate a significant improvement with the next few hours and will continue to monitor the health of AWS services and the effects on Atlassian customers. We appreciate your continued patience and remain committed to full resolution as we work through this situation. We will post our next update in two hours.

14. 2025년 10월 20일 오후 10:58 UTCmonitoring

    Our teams are continuing to monitor the recovery of systems across Atlassian products. This update is to inform that the Atlassian Support portal is fully operational at this time for customers that wish to contact support.

15. 2025년 10월 21일 오전 12:03 UTCmonitoring

    Our team is now seeing recovery across all impacted Atlassian products. We are continuing to monitor for individual products that may still be processing backlogged items now that services are restored. The Atlassian Support portal is currently still displaying a message directing customers to our temporary support channel. Please note that our support portal is currently fully functional for those attempting to raise requests. We are continuing to look into this alert to remove this message. We will provide further update on our recovery status in one hour.

16. 2025년 10월 21일 오전 1:07 UTCmonitoring

    We continue to see recovery progressing across all impacted products as backlogged items continue to be processed. The Atlassian Support portal is currently displaying a message directing customers to our temporary support channel. Please note that our support portal is currently fully functional for those attempting to raise requests. We are continuing to look into this alert to remove this message. We will provide further update on our recovery status in two hours.

17. 2025년 10월 21일 오전 3:24 UTCmonitoring

    The issue relating to the Atlassian Support portal displaying a message to customers to use our temporary support channel has now been resolved. The Atlassian Support portal is fully functional for any ongoing support issues. With regards to other Atlassian products, we continue to see recovery continuing across all impacted products and our teams are continuing to monitor as the recovery continues. We will provide further update on our recovery status within two hours.

18. 2025년 10월 21일 오전 5:24 UTCresolved

    Our team is now able to see full recovery across the vast majority of Atlassian products. We are aware of some ongoing issues with specific components such as migrations and JSM virtual service agents, and our team is continuing to investigate with urgency. We apologise for the inconvenience that this incident has caused and we will provide further information when the Post Incident Investigation has been completed.

19. 2025년 10월 24일 오후 5:53 UTCpostmortem

    ### Postmortem publish date: Nov 19th, 2025 ### Summary All dates and times below are in UTC unless stated otherwise. Customers utilizing Atlassian products experienced elevated error rates and degraded performance between Oct 20, 2025 06:48 and Oct 21, 2025 04:05. The service disruptions were triggered due to an [AWS DynamoDB outage](https://aws.amazon.com/message/101925/#:~:text=1%3A50%20PM.-,DynamoDB,-Between%2011%3A48) and further affected by subsequent failures in [AWS EC2](https://aws.amazon.com/message/101925/#:~:text=service%20disruption%20event.-,Amazon%20EC2,-Between%2011%3A48) and [AWS Network Load Balancer](https://aws.amazon.com/message/101925/#:~:text=service%20disruption%20event.-,Amazon%20EC2,-Between%2011%3A48) within the us-east-1 region. The incident started at Oct 20, 2025 06:48 and was detected within six minutes by our automated monitoring systems. Our teams worked to restore all core services by Oct 21, 2025 04:05. Final cleanup of backlogged processes and minor issues was completed on Oct 22, 2025. We recognize the critical role our products play in your daily operations, and we offer our sincere apologies for any impact this incident had on your teams. We are taking immediate steps to enhance the reliability and performance of our services, so that you continue to receive the standard of service you have come to trust. ### IMPACT Before examining product-level impacts, it's helpful to understand Atlassian's service topology and internal dependencies. Products such as Jira and Confluence are deployed across multiple AWS regions. The data for each tenant is stored and processed exclusively within its designated host region. This design is intentional and represents the desired operational state, as it limits the impact of any regional outage strictly to tenants in-region, in this case us-east-1. While in-scope application data is pinned to the region selected by the customer, there are times when systems need to call other internal services that may be based in a different region. If a problem occurs in the main region where these services operate, systems are designed to automatically fail over to a backup region, usually within three minutes. However, if unexpected issues arise during this failover, it can take longer to restore services. In rare cases, this could affect customers in more than one region. It’s important to note that all in-scope application data for supported products is pinned according to a customer’s chosen region. **Jira** Between Oct 20, 2025 06:48 and Oct 20, 2025 20:00, customers with tenants hosted in the us-east-1 region experienced increased error rates when accessing core entities such as Issues, Boards, and Backlogs. This disruption was caused by AWS's inability to allocate AWS EC2 instances and elevated errors in AWS Network Load Balancer \(NLB\). During this window, users may also have observed intermittent timeouts, slow page loads, and failures when performing operations like creating or updating issues, loading board views, and executing workflow transitions. Between Oct 20, 2025 08:36 and Oct 20, 2025 09:23, customers across all regions experienced elevated failure rates when attempting to load Jira pages. This disruption was caused by the regional frontend service entering an unhealthy state during this specific time interval. Normally, the frontend service connects to the primary AWS DynamoDB instance located in the us-east-1 to retrieve the most recent configuration data necessary for proper operation. Additionally, the service is designed with a fallback mechanism that references static configuration data in the event that the primary database becomes inaccessible. Unfortunately, a latent bug existed in the local fallback path. When the frontend service nodes restarted, they were unable to load critical operational configuration data from primary or fallback sources, leading to the observed failures experienced by customers. Between Oct 20, 2025 06:48 and Oct 21, 2025 06:30, customers experienced significant delays and missing Jira in-app notifications across all regions. The notification ingestion service, which is hosted exclusively in us-east-1, exhibited an increased failure rate when processing notification messages due to AWS EC2 and NLB issues. This issue resulted in notifications being delayed - and in some cases, not delivered at all - to users worldwide. **Jira Service Management \(JSM\)** JSM was impacted similarly to Jira above, with the same timeframes and for the same reasons. Between Oct 20, 2025 08:36 and Oct 20, 2025 09:23, customers across all regions experienced significantly elevated failure rates when attempting to load JSM pages. This affected all JSM experiences including the Help Centre, Portal, Queues, Work Items, Operations, and Alerts. **Confluence** Between Oct 20, 2025 06:48 and Oct 21, 2025 02:45, customers using Confluence in the us-east-1 region experienced elevated failure rates when performing common operations such as editing pages or adding comments. The primary cause of this service degradation was the system's inability to auto-scale due to AWS EC2 issues to manage peak traffic load effectively. Though the AWS outage ended at Oct 20, 21:09, a subset of customers continued to experience failures as some Confluence web server nodes across multiple clusters remained in an unhealthy state. This was ultimately mitigated by recycling the affected nodes. To protect our systems while AWS recovered, we made a deliberate decision to enable node termination protection. This action successfully preserved our server capacity but, as a trade-off, it extended the time required for a full recovery once AWS services were restored. **Automation** Between Oct 20, 2025 06:55 and Oct 20, 2025 23:59, automation customers whose rules are processed in us-east-1 experienced delays of up to 23 hours in rule execution. During this window, some events triggering rule executions were processed out of order because they arrived later during backlog processing. This caused potential inconsistencies in workflow executions, as rules were run in the order events were received, not when the action causing the event occurred. Additionally, some rule actions failed because they depend on first-party and third-party systems, which were also affected by the AWS outage. Customers can see most of these failures in their audit logs; however, a few updates were not logged due to the nature of the outage. By Oct 21, 2025 5:30, the backlog of rule runs in us-east-1 was cleared. Although most of these delayed rules were successfully handled, there were some additional replays of events to ensure completeness. Our investigation confirmed that a few events may never have triggered their associated rules due to the outage. Between Oct 20, 2025 06:55 and Oct 20, 2025 11:20, all non-us-east-1 regional automation services experienced delays of up to 4 hours in rule execution. This was caused by an upstream service that was unable to deliver events as expected. The delivery service encountered a failure due to a cross-region dependency call to a service hosted in the us-east-1 region. Because of this dependency issue, the delivery service was unable to successfully deliver events throughout this time frame, resulting in customer-defined rules not being executed in a timely manner. **Bitbucket and Pipelines** Between Oct 20, 2025 06:48 and Oct 20, 2025 09:33, Bitbucket experienced intermittent unavailability across core services. During this period, users faced increased error rates and latency when signing in, navigating repositories, and performing essential actions such as creating, updating, or approving pull requests. The primary cause was an AWS DynamoDB outage that impacted downstream services. Between Oct 20, 2025 06:48 and Oct 20, 2025 22:46, numerous Bitbucket Pipeline steps failed to start, stalled mid-execution, or experienced significant queueing delays. Impact varied, with partial recoveries followed by degradation as downstream components re-synchronized. The primary cause was an AWS DynamoDB outage, compounded by instability in AWS EC2 instance availability and AWS Network Load Balancers. Furthermore, Bitbucket Pipelines continued to experience a low but persistent rate of step timeouts and scheduling errors due to AWS bare-metal capacity shortages in select availability zones. Atlassian coordinated with AWS to provision additional bare-metal hosts and addressed a significant backlog of pending pods, successfully restoring services by 01:30 on Oct 21, 2025. **Trello** Between Oct 20, 2025 06:48 and Oct 20, 2025 15:25, users of Trello experienced widespread service degradation and intermittent failures due to upstream AWS issues affecting multiple components, including AWS DynamoDB and subsequent AWS EC2 capacity constraints. During this period, customers reported elevated error rates when loading boards, opening cards, adding comments or attachments. **Login** Between Oct 20, 2025 06:48 and Oct 20, 2025 09:30, a small subset of users experienced failures when attempting to initiate new login sessions using SAML tokens. This resulted in an inability for those users to access Atlassian products during that time period. However, users who already had valid active sessions were not affected by this issue and continued to have uninterrupted access. The issue impacted all regions globally because regional identity services relied on a write replica located in the us-east-1 region to synchronize profile data. When the primary region became unavailable, the failover to a secondary database in another region failed, which delayed recovery. This failover defect has since been addressed. **Statuspage** Between Oct 20, 2025 06:48 and Oct 20, 2025 09:30, Statuspage customers who were not already logged in to the management portal were unable to log in to create or update incident statuses. This impact was restricted only to users who were not already logged in at the time. The root cause was the same as described in the Login section above, and it was resolved by the same remediation steps. ### REMEDIAL ACTION PLAN & NEXT STEPS We have completed the following critical actions designed to help prevent cross-region impact from similar issues: * Resolved the code defect in the fallback option to ensure that Jira Frontend Services in other regions remain unaffected during a region-wide outage. * Fixed the issue that prevented timely failover of the identity service which impacted new login sessions. * Resolved the code defect so that delivery services in unaffected regions remain operational during region-wide outages. Additionally, we are prioritizing the following improvement actions: * Implement mitigation strategies to strengthen resilience against region-wide outages in the notification ingestion service. Although disruptions to our cloud services are sometimes unavoidable during outages of the underlying cloud provider, we continuously evaluate and improve test coverage to strengthen resilience of our cloud services against these issues. We recognize the critical importance of our products to your daily operations and overall productivity, and we extend our sincere apologies for any disruptions this incident may have caused your teams. If you were impacted and require additional details for internal post-incident reviews, please reach out to your Atlassian support representative with affected timeframes and tenant identifiers so we can correlate logs and provide guidance. Thanks, Atlassian Customer Support

1. 2025년 9월 12일 오후 8:43 UTCmonitoring

   From 5:03 AM ET to 4:15 PM ET, some customers were unable to record Zoom meetings using Loom Meeting Recordings. Attempts made during this time may appear in your library but will not be playable, as no recording was captured. Unfortunately, these recordings cannot be recovered. We have released a fix and we are monitoring recovery.

2. 2025년 9월 12일 오후 10:14 UTCresolved

   The issue has been resolved and the service is operating normally.

1. 2025년 9월 8일 오후 9:46 UTCresolved

   From 5:20AM to 3:45PM UTC today some customers using the Loom Chrome Extension experienced issues with recording. Looms recorded during this time may show up in the library but will not be playable. Unfortunately we are unable to recover these videos. If you are still experiencing this issue please make sure you are recording with extension version 5.5.121.

1. 2025년 8월 15일 오후 7:35 UTCidentified

   We are investigating reports of issues for Loom customers. Including names showing as IDs. We will provide more details once we identify the cause.

2. 2025년 8월 15일 오후 7:50 UTCmonitoring

   We have identified the cause of the issues and we are monitoring recovery.

3. 2025년 8월 15일 오후 7:58 UTCresolved

   Between 18:45 and 19:35 UTC we experienced degraded functionality for Loom. The issue has been resolved and the service is operating normally.

1. 2025년 4월 14일 오후 7:07 UTCidentified

   Customers are unable to choose a monthly plan when upgrading or purchasing from loom.com. We are investigating this issue.

2. 2025년 4월 14일 오후 7:30 UTCmonitoring

   A fix has been implemented and we are monitoring the results

3. 2025년 4월 14일 오후 7:34 UTCresolved

   This issue is now resolved and customers can checkout as expected.