Render 장애 기록

1. 2026년 10월 24일 오전 7:11 UTCidentified

   플랫폼 이벤트에 대한 거래 메일, 포함하지만 새로운 계정 가입 이메일 확인 제한, 서비스 구축 / 배포 실패 알림, 암호 재설정 등은 현재 전송 실패. 우리는 현재 문제를 해결하고 있습니다.

2. 2026년 10월 24일 오전 7:30 UTCmonitoring

   우리는 해결을 적용하고 메시지를 성공적으로 전달합니다. 우리는 더 많은 문제에 대한 모니터링입니다.

3. 2026년 10월 24일 오전 7:41 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 10월 23일 오후 4:05 UTCidentified

   우리는 업스트림 공급자와 연결 된 고급 네트워킹 성능을 확인했습니다 - 우리는 여기에서 업데이트를 계속할 것입니다.

2. 2026년 10월 23일 오후 4:10 UTCidentified

   이 문제를 해결하기 위해 계속 노력하고 있습니다.

3. 2026년 10월 23일 오후 4:14 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

4. 2026년 10월 23일 오후 5:34 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 10월 20일 오후 8:48 UTCinvestigating

   복제가 실패하면 배포가 실패합니다. 배포 로그는 그 실패와 관련된 오류를 제공합니다. 배포가 성공할 수 있습니다. 우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 10월 20일 오후 9:16 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

3. 2026년 10월 20일 오후 11:46 UTCidentified

   이 문제를 해결하기 위해 계속 노력하고 있습니다.

4. 2026년 10월 21일 오전 12:08 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

5. 2026년 10월 21일 오전 12:29 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 10월 15일 오후 8:58 UTCidentified

   Render의 실시간 업데이트에 영향을 미치는 업스트림 클라우드 제공 업체와 함께 문제가 발견되었습니다. 대략 19:10 UTC부터: - Dashboard: 배포 상태, 서비스 이벤트 및 서비스 및 작업 실행 상태는 자동으로 업데이트되지 않을 수 있습니다. 현재 상태를 보려면 페이지를 새로 고침하십시오. - 작업이 완료될 때까지 기다리는 SDK는 약 60 초 후에 500 오류로 실패할 수 있습니다. 작업은 실행을 유지하고 일반적으로 완료합니다. 작업 실행 상태를 확인하려면 GET /v1/task-runs/{taskRunId}을 사용하십시오. 배포, 실행 서비스, 데이터베이스, 로그는 영향을받지 않습니다.

2. 2026년 10월 15일 오후 9:53 UTCmonitoring

   우리의 업스트림 공급자는 문제점을 해결하고, 영향을 받은 Render 서비스는 회복했습니다. 우리는 감시자를 계속합니다.

3. 2026년 10월 16일 오전 1:12 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 10월 14일 오후 7:32 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 10월 14일 오후 7:45 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 10월 14일 오후 7:47 UTCmonitoring

   우리는 더 많은 문제를 모니터링하고 있습니다.

4. 2026년 10월 14일 오후 8:41 UTCmonitoring

   우리는 일시적으로 무료 서비스를 배포합니다.

5. 2026년 10월 14일 오후 8:55 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

6. 2026년 10월 14일 오후 8:57 UTCidentified

   빌드는 모든 지역에서 다시 시작 실패하고, 우리의 팀은 여전히 뿌리 원인을 해결하기 위해 노력하고 있습니다. 무료 서비스 배포는 일시 중지. 우리는 더 많은 정보가 있기 때문에 또 다른 업데이트를 공유 할 것입니다.

7. 2026년 10월 14일 오후 9:43 UTCmonitoring

   수정이 시행되고, 결과를 모니터링하고 있습니다. 무료 인스턴스에서 실행되는 서비스에 대한 배포 및 빌드는 일시 중지됩니다.

8. 2026년 10월 14일 오후 10:18 UTCresolved

   이 사건은 해결되었습니다.

9. 2026년 10월 22일 오후 5:58 UTCpostmortem

   ### 요약 10 월 14, 2026, 사이 12:12 그리고 15:08 PDT \(19:12 - 22:08 UTC\), 모든 지역에서 빌드 및 배포는 시작 실패, 매각, 또는 약 2 시간 및 20 분의 충격의 두 기간 동안 크게 지연되었다. 원인은 데이터베이스 스키마 마이그레이션은 빌드, 배포 및 기타 중요한 플랫폼 운영을 조정하는 내부 작업 스케줄러의 계획된 버전 업그레이드의 일부로 실행되었습니다. 마이그레이션은 높은 부하로 주도하고이 시스템의 데이터베이스의 더 긴 수명 복구 시간. 우리는 우리가 앞으로 매우 유효한 유행에 있는 이 체계의 향상 그리고 수정을 실행하는 방법을 변화할 것입니다 그래서 유사한 변화는 정전을 다시 일으키는 원인이 될 수 없습니다. ### 충격 충격의 2 기간이 있습니다. 이 시간 동안, 라이브 사용자 서비스는 영향을받지 못했지만, 모든 지역에서 빌드 및 배포를 시작 실패, 완료 실패, 또는 크게 지연되었다. **기간 1: 12:12 - 12:40 PDT \(19:12 - 19:40 UTC\), 약 28분** * 새로운 빌드 및 배포가 시작되지 않았습니다. 진행중인 배포. * 대시보드, API, CLI 리턴 오류(HTTP 500\)를 통해 배포할 수 있는 일부 요청. ** 부분 복구: 12:40 - 13:18 PDT \(19:40 - 20:18 UTC\)** * 빌드 및 배포 ran, 하지만 배포 약 20 초 몇 백 밀리 초 대신 시작. **기간 2: 13:18 - 15:08 PDT \(20:18 - 22:08 UTC\), 약 1 시간 50 분** * 빌드 및 배포가 지연되었거나 진행 중인 \(pre-deploy\ 포함) 또는 실패했습니다. 13:51 PDT에서, 거의 새로운 빌드가 시작할 수 없습니다. * 일부 할당 된 배포는 복구 후 시작되지 않았고, API를 통해 취소하면 효과가 없습니다. 이 배포판을 재개해야 합니다. ### 뿌리 원인 렌더링은 내부 작업 스케줄러 시스템을 사용하여 빌드, 배포 및 기타 중요한 플랫폼 작업을 조정합니다. 우리는 작업 배포 방법을 개선하고 테스트 환경에서 성공적인 연습을 실행 한 후 생산에서이 시스템의 계획 된 버전 업그레이드를 시작했습니다. 업그레이드에는 큰 테이블을 고정하고 데이터베이스 CPU 활용을 100 %로 고정 된 데이터베이스 스키마 마이그레이션이 포함되어 있습니다. 이 데이터베이스는 검색 및보고에 사용되는 시스템의 핵심 작업 상태 및 이차 데이터를 저장합니다. 시스템은 재 읽거나 쓰기 할 수 없었다, 그래서 빌드 및 배포 중단 또는 느리게. 엔지니어는 신속하게 문제로 경고하고 업그레이드를 거쳤습니다. 그러나, 세 가지 요소는 충격을 연장 : * 롤백의 데이터베이스 클론을 만들려면 사전 업그레이드 단계는 아래 클라우드 공급자로부터 오류로 인해 완료 될 수 있으므로 빠른 롤백을 사용할 수 없습니다. * 마이그레이션은 클라이언트가 업그레이드를 수행 한 후 데이터베이스에서 실행하는 것을 계속하고 업그레이드가 재개되었습니다. 그것은 13:49 PDT에서 발견되고 종결되었습니다, 그것이 시작된 후에 대략 1.5 시간. * 아래의 클라우드 공급자로부터 오류로 인해 데이터베이스에 용량을 추가하려고 합니다. ### 타임라인 모든 시간은 2026-10-14 \ (UTC-7 \)에 PDT입니다. * **12:13** - 업그레이드는 데이터베이스 스키마 마이그레이션을 포함하여 시작됩니다. 데이터베이스로드 상승 및 빌드 및 배포 중지 시작. * **12:24** - 확인된 빌드 및 배포에 대한 영향. escalated. * **12:33 ** - 상태 페이지의 사건이 열립니다. * **12:34** - 엔지니어는 업그레이드를 반전하고 스키마 마이그레이션을 수행하는 클라이언트를 중지합니다. * **12:37** - 작업 스케줄러 시스템 복구. 빌드 및 배포 이력서, 느린 배포 시작 시간. 기간의 끝 1. * **13:17** - 엔지니어는 시스템의 한 가지 건강 인스턴스를 재 균형 부하로 다시 시작합니다. 데이터베이스 연결 및 오류는 시스템 전반에 걸쳐 증가합니다. 기간의 시작 2. * **13:37** - 무료 계층은 부하를 줄이기 위해 일시적으로 배치합니다. * **13:49** - 엔지니어들은 데이터베이스에서 여전히 실행되는 스키마 마이그레이션을 발견하고 종료합니다. * **14:16** - 데이터베이스 재시작. 데이터베이스 용량을 추가하는 시도는 underlying 클라우드 공급자의 오류 때문에 실패합니다. * **14:27** - 시스템 재시작의 구성품. * ** 14:30 ** - 빌드 및 배포 시작을 복구, 평소보다 느리게 구축하고 백 로그 처리로 시간을 배치. * **15:08** - 정상적인 및 데이터베이스 부하가 pre-incident 수준으로 돌아갑니다. 기간의 끝 2. * **15:11** - 무료 계층 배포 및 스핀 업 점차 재 활성화. * **15:18** - 잘못된 해결. ### 소송 **이 사건 중 발생한 ** * 작업 스케줄러 구성 요소 업그레이드 및 구성 변경 \(12:34 PDT\). * Paused 무료 계층 배치 및 스핀 업 부하를 줄이기 위해, 다음 복구 후 점차적으로 재 활성화. * 데이터베이스 \ (13:49 PDT\)에서 여전히 실행 된 스키마 마이그레이션을 결정했습니다. * 데이터베이스와 작업 스케줄러 시스템이 정상 작동을 복원합니다. * 업그레이드 프로세스가 변경 될 때까지 생산의 업그레이드를 일시적으로 일시적으로 사용. **Ongoing \ (가입 중 시작) ** * 이 데이터베이스는 cross-zone 높은 가용성을 지원하기 위하여 격상됩니다. **플랜드 ** * 이 구성 요소에 대한 새로운 업그레이드 및 배포 연습 구현 : 우리는 미래에로드 아래의이 시스템을 업그레이드하기 위해 블루 그린 배포를 구현합니다. * 작업 스케줄러의 밑에 저장 메커니즘을 조정하여 이 워크로드 유형에 더 잘 적응할 수 있으며 Blue-green 배포를 구현했습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 10월 3일 오후 7:35 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 10월 3일 오후 7:53 UTCinvestigating

   이 문제를 조사하고 있습니다.

3. 2026년 10월 3일 오후 8:13 UTCmonitoring

   충격적인 성분은 재기입니다. 우리는 상황을 감시하고 있습니다.

4. 2026년 10월 3일 오후 8:21 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 27일 오전 1:24 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 9월 27일 오전 1:36 UTCmonitoring

   우리의 업스트림 공급자는 회복을 시작했다. Oregon의 서비스 개선 및 모니터링을 계속합니다.

3. 2026년 9월 27일 오전 2:17 UTCmonitoring

   무료 웹 서비스 계층을 제외하고 모든 서비스는 복구되었습니다. 우리는 감시자를 계속합니다.

4. 2026년 9월 27일 오전 3:01 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 25일 오후 6:26 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 9월 25일 오후 6:38 UTCresolved

   빌드 및 배포는 오레곤에서 서비스의 하위 세트에 실패. 사전 제작된 Docker 이미지 및 정적 사이트를 사용하는 서비스는 비공개되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 24일 오후 11:36 UTCresolved

   2026-09-23의 UTC 약 23:31 UTC, 2024-03-05 이전에 생성 된 키 값 서비스는 우리의 끝에 구성 변경으로 인해 즉시 재시작되었습니다. 더 많은 재시작이 계획되거나 그 변경의 결과로 예상되지 않습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 9일 오후 9:26 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 9월 9일 오후 9:32 UTCinvestigating

   이 문제를 조사하고 있습니다.

3. 2026년 9월 9일 오후 9:34 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

4. 2026년 9월 9일 오후 9:38 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 2일 오후 5:19 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 9월 2일 오후 5:30 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 9월 2일 오후 5:40 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 31일 오후 8:24 UTCresolved

   오레곤의 일부 웹 서비스는 19:20 및 19:30 UTC 사이에 사용할 수 없습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 31일 오후 3:47 UTCinvestigating

   우리는 우리의 싱가포르 지역에 있는 몇몇 웹 서비스에 영향을 미치는 조사 서비스 instability입니다. 고객은 예상치 못한 서비스 재시작 또는 간헐적인 가용성을 경험할 수 있습니다. 우리의 팀은 적극적으로 정상적인 가동을 복원하고 일하고 있습니다. 더 많은 정보로 업데이트를 제공할 것입니다.

2. 2026년 8월 31일 오후 4:08 UTCinvestigating

   배포가 주로 영향을 미치는 것을 관찰했습니다.

3. 2026년 8월 31일 오후 4:33 UTCinvestigating

   싱가포르 서비스에 대한 인바운드 트래픽은 영향을받습니다. 싱가포르의 무료 서비스 스핀 업 (이들에서)은 우리가 조사를 계속하면서 일시적으로 비활성화되었습니다.

4. 2026년 8월 31일 오후 5:22 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

5. 2026년 8월 31일 오후 6:09 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 20일 오후 3:47 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 8월 20일 오후 4:12 UTCidentified

   문제는 Google Cloud의 업스트림 공급자로 식별되었습니다. 무료 웹 서비스: Builds/deploys 및 spin-up은 일시적으로 비활성화되었지만 우리는 문제를 완화합니다.

3. 2026년 8월 20일 오후 5:27 UTCmonitoring

   우리는 모든 지역에서 빌드 및 배포를위한 복구를 관찰하고 있습니다. 무료 웹 서비스에 대한 빌드, 배포 및 스핀 업이 재 활성화되었습니다. 일부 고객은 복구 진행 중에 높은 지연 시간을 볼 수 있습니다. 우리는 감시자를 계속합니다.

4. 2026년 8월 20일 오후 5:45 UTCmonitoring

   우리는 가득 차있는 회복을 관찰했습니다. 우리는 더 많은 문제를 모니터링하고 있습니다.

5. 2026년 8월 20일 오후 7:40 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 27일 오후 2:43 UTCinvestigating

   대시보드를 통한 요청은 평소보다 느리게 될 수 있습니다. 우리는 현재 문제를 조사하고 있습니다.

2. 2026년 7월 27일 오후 5:59 UTCinvestigating

   이 문제를 조사하고 있습니다.

3. 2026년 7월 27일 오후 6:27 UTCinvestigating

   REST API는 또한 degraded 성과를 경험하고 있습니다. 결과적으로 Timeouts를 경험할 수 있으며 요청을 다시 시도할 수 있습니다. 우리는 조사를 계속하고 있습니다.

4. 2026년 7월 27일 오후 8:18 UTCmonitoring

   우리는 수정을 구현하고 결과를 모니터링합니다. 배포 실패 이유는 일시적으로 사용할 수 없습니다. 배포 실패 이벤트는 여전히 생성됩니다. 우리는 한 번 업데이트가 실패 이유가 재 활성화됩니다.

5. 2026년 7월 27일 오후 11:58 UTCmonitoring

   더 많은 문제는 우리의 수정 이후 관찰되었습니다. Dashboard 및 REST API는 완전 작동 상태로 유지됩니다. 실패한 이유는 여전히 비활성화됩니다. 우리는이 사건을 한 번 업데이트합니다. 오늘 예상된 업데이트는 없습니다 (2026-07-27, UTC-7).

6. 2026년 7월 28일 오후 7:35 UTCresolved

   우리는 더 많은 문제를 관찰하고 실패 이유를 배치하는 것을 계속했습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 24일 오전 11:16 UTCinvestigating

   오레곤 지역에서 호스팅되는 인프라 이슈를 조사하고 있습니다. 몇몇 서비스는 접근할 수 없거나 경험은 실패한 요구일지도 모릅니다. 우리의 기술설계 팀은 원인을 확인하고 정상적인 가동을 복원하기 위하여 적극적으로 일하고 있습니다.

2. 2026년 7월 24일 오전 11:27 UTCmonitoring

   우리는 모든 서비스를 통해 복구를 관찰하고 현재 상황을 모니터링하고 있습니다.

3. 2026년 7월 24일 오전 11:44 UTCmonitoring

   우리는 문제가 업스트림 공급자에 의해 발생했다. 우리는 계속 상황을 모니터링.

4. 2026년 7월 24일 오후 1:30 UTCresolved

   이 사건은 이제 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 20일 오전 12:41 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 7월 20일 오전 12:55 UTCidentified

   GitHub는 아웃리지를 계속 보고, https://www.githubstatus.com. GitHub 저장소에서 배포하려고 할 때 인증 실패가 발생합니다.

3. 2026년 7월 20일 오전 1:54 UTCmonitoring

   우리는 지금 우리의 구조 실패 비율에 있는 회복을 본다. 우리는 문제를 감시하는 것을 계속합니다.

4. 2026년 7월 20일 오전 2:11 UTCresolved

   실패율을 복구했습니다. 해결.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 19일 오전 3:44 UTCinvestigating

   우리는 403 오류로 인해 git clone 실패에 대한 높은 수의 보고서를 받았다. 배포. 우리는 투자입니다.

2. 2026년 7월 19일 오전 3:55 UTCidentified

   서비스 배포 실패는 프랑크푸르트에 배포됩니다. 실행 서비스는 영향을받지 않습니다. 배포 프로세스 만 실패합니다. 우리는 여전히 이러한 서비스의 원인을 결정하기 위해 노력하고 있습니다.

3. 2026년 7월 19일 오전 5:57 UTCidentified

   배포를 위해 GitHub 저장소에 의존하는 프랑크푸르트에서 호스팅되는 서비스로 403 오류가 발생했습니다. 우리는 자체 시스템 내에서이 문제를 계속하고 GitHub에 도달했습니다.

4. 2026년 7월 19일 오전 8:29 UTCidentified

   이 문제를 해결하기 위해 계속 노력하고 있습니다. GitHub에서 이러한 배포 실패를 해결하기 위해 일하고 있습니다.

5. 2026년 7월 19일 오전 9:10 UTCmonitoring

   배포는 대략 08:40 이후 지속적으로 완료되었으며, 정상 수준으로 돌아갑니다. 우리는 다른 어떤 충격든지를 위해 감시하고 있습니다.

6. 2026년 7월 19일 오전 9:20 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 16일 오후 10:42 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 7월 16일 오후 10:42 UTCinvestigating

   이 문제를 조사하고 있습니다.

3. 2026년 7월 16일 오후 11:09 UTCidentified

   GitHub는 REST API 가용성을 보고하는 상태 페이지를 업데이트했습니다. https://www.githubstatus.com/incidents/gxycch3076xk

4. 2026년 7월 17일 오전 12:13 UTCmonitoring

   GitHub는 그 사건을 완화하고 안정성을 보장하기 위해 모니터링을 보고합니다.

5. 2026년 7월 17일 오전 12:14 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 15일 오후 9:50 UTCinvestigating

   일부 사용자는 Render 대쉬보드에 액세스하려고 할 때 2FA 보고서 로그인 루프에 등록했습니다. 우리는 투자입니다.

2. 2026년 7월 15일 오후 9:55 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

3. 2026년 7월 15일 오후 10:06 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

4. 2026년 7월 15일 오후 10:56 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.