Flyio 장애 기록

1. 2026년 9월 2일 PM 11:03 UTCinvestigating

   Sprites 사용자의 하위 설정에 영향을 미치는 문제의 인식입니다. 우리는 문제의 소스를 조사하고 있습니다.

2. 2026년 9월 2일 PM 11:33 UTCmonitoring

   오류율이 감소했습니다. 우리는 API 건강을 모니터링하고 있습니다.

3. 2026년 9월 3일 AM 12:41 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 2일 PM 2:18 UTCidentified

   우리는 LAX에서 업스트림 네트워크 문제를 관찰했습니다. 일부 목적지에 연결은 높은 대기 시간과 패킷 손실을 볼 수 있습니다. 이 문제를 해결하기 위해 업스트림과 함께 일하고 있습니다.

2. 2026년 9월 2일 PM 2:48 UTCidentified

   우리는 우리의 공급자와 함께 몇몇 임시 mitigations에서 뒀습니다. 그러나이 문제의 루트 원인은 더 큰 업스트림 트랜스트 공급 업체 내에서, 당신은 계속 몇 가지 높은 대기 시간 및 연결 문제 in/around 영향 영역. 우리는 여전히 뿌리 원인을 해결하기 위해 그들과 긴밀하게 협력하고 있습니다.

3. 2026년 9월 2일 PM 2:56 UTCidentified

   우리는 영향을받는 지역 목록을 업데이 트하고 있기 때문에 SJC는 미국 웨스트 코스트의 더 넓은 업스트림 문제가 될 것 같습니다.

4. 2026년 9월 2일 PM 3:33 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

5. 2026년 9월 2일 PM 3:57 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 2일 AM 7:21 UTCinvestigating

   우리는 우리의 API를 위한 배경 일 주자를 가진 문제점을 투자하고 있습니다. 앱을 만들고, IP 주소를 할당하거나, 생성/갱신 인증서를 생성하거나, 이 시간에 실패할 수 있는 배경 작업이 필요합니다.

2. 2026년 9월 2일 AM 7:31 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 9월 2일 AM 7:44 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 31일 PM 3:42 UTCresolved

   설정 업데이트는 몇 분 동안 호스트의 하위 설정에 위치한 Fly 기계에 대한 HTTP / 2 트래픽을 수신하기위한 임시 실패를 발생. 이 사건은 해결되었습니다. 관리된 Postgres는 HTTP/2에 달려 있고 몇몇 통제 비행기 ops는 또한 영향을 미칠지도 모릅니다. 그러나 downstream Postgres 연결은 HTTP2 핸들러를 사용하지 않기 때문에 이것에 의해 영향을받지 못했습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 31일 AM 6:26 UTCinvestigating

   업스트림 공급자로 인해 ORD의 호스트의 하위 세트에 ~ 50 %의 패킷 손실을보고 있습니다. ORD의 일부 MPG 클러스터는 결과로 복제됩니다.

2. 2026년 8월 31일 AM 7:39 UTCmonitoring

   ORD의 패킷 손실은 개선 및 영향을받는 서비스 복구; 우리는 intermittent 문제에 대한 모니터링을 계속

3. 2026년 8월 31일 AM 8:10 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 30일 PM 10:45 UTCresolved

   우리는 Sprite deletion 작업이 21:18 및 22:05 UTC 사이에 실패했습니다. 이 문제는 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 28일 PM 9:56 UTCinvestigating

   우리는 GRU (São Paulo, Brazil) 지역의 일부 호스트에 영향을 미치는 네트워킹 문제를 조사하고 있습니다. GRU의 일부 앱은 지연 또는 패킷 손실을 경험할 수 있습니다.

2. 2026년 8월 28일 PM 10:00 UTCmonitoring

   GRU의 네트워킹 성능은 정상화되어 더 이상 문제가 없습니다. 우리는 전체 복구를 보장하기 위해 계속됩니다.

3. 2026년 8월 28일 PM 10:12 UTCidentified

   우리는 GRU의 네트워킹 문제에서 재류를보고 있습니다. 지역 내 일부 앱은 대기 시간 또는 패킷 손실을 경험할 수 있습니다. 우리는 우리의 업스트림 네트워킹 제공 업체와 협력하여 해결합니다.

4. 2026년 8월 28일 PM 10:36 UTCidentified

   우리의 업스트림 공급자는 수정을 구현했습니다. GRU의 네트워크 성능은 정상화되었습니다.

5. 2026년 8월 28일 PM 10:36 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 28일 AM 8:09 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 8월 28일 AM 10:22 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 26일 PM 6:14 UTCinvestigating

   WireGuard 게이트웨이에 대한 투자 문제입니다. `flyctl ssh console` 또는 `flyctl proxy`와 같은 일부 CLI 명령은 이 시간에 작동하지 않을 수 있습니다. 앱이 계속 실행됩니다.

2. 2026년 8월 26일 PM 6:27 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 8월 26일 PM 6:33 UTCmonitoring

   테스트 및 모니터링은 게이트웨이가 정상으로 돌아가야 합니다. `flyctl ssh 콘솔`를 사용하여 문제가 있는 경우 `flyctl` 에이전트를 `flyctl Agent restart`로 다시 시작해 보십시오.

4. 2026년 8월 26일 PM 6:43 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 24일 AM 10:23 UTCinvestigating

   우리는 현재 일부 지역에서 서버에서 미터 지연을 경험하고있다. 우리는 backlog를 수용하기 위해 더 많은 메트릭 처리 인스턴스를 제공하고 잡아.

2. 2026년 8월 24일 PM 12:47 UTCmonitoring

   모든 호스트는 미터로 잡았고 상황을 모니터링하고 있습니다

3. 2026년 8월 24일 PM 1:24 UTCresolved

   현재 해결

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 23일 AM 1:28 UTCinvestigating

   우리는 로스 앤젤레스 지역의 네트워크 문제를 조사하고 있습니다. 앱은 더 높은 대기시간을 경험할 수 있으며 이 시간에 제한이 없습니다.

2. 2026년 8월 23일 AM 2:04 UTCmonitoring

   Upstream 네트워킹 문제가 해결되었습니다.

3. 2026년 8월 23일 AM 2:10 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 20일 PM 8:07 UTCresolved

   BGP 구성 오류는 적절한 DNS 인프라없이 일부 노드로 변환하기 위해 Anycast DNS를 발생했습니다. 문제가 일시적으로 해결되었으므로 BGP에서 노드가 제거되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 20일 PM 1:54 UTCidentified

   우리는 `flyctl`에서 일부 작업에 대한 인증 오류를 일으키는 문제를 식별했습니다. 이 작업은 다음과 같은 오류로 실패합니다. `이 엔드포인트는 더 이상 레거시 OAuth 토큰을 허용하지 않습니다 ('fo1 `로 시작). 대신 macaroon 토큰을 사용하세요. 우리는 문제점을 확인하고 고침을 구르고 있습니다

2. 2026년 8월 20일 PM 2:05 UTCmonitoring

   수정이 배포되고이 오류가 더 이상 발생하지 않아야합니다. 우리는 가득 차있는 회복을 지키는 감시입니다.

3. 2026년 8월 20일 PM 2:16 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 20일 AM 7:25 UTCinvestigating

   우리는 ord-0 Fly Kubernetes 클러스터와 문제가 있었고 많은 MPG 클러스터는 재시작에 실패합니다. 우리의 MPG 팀은 그것에 적극적으로 일하고 있습니다.

2. 2026년 8월 20일 AM 7:26 UTCinvestigating

   이 문제를 조사하고 있습니다.

3. 2026년 8월 20일 AM 7:32 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

4. 2026년 8월 20일 AM 7:57 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 19일 AM 1:15 UTCresolved

   6PN 네트워킹 문제는 롤아웃 중에 YYZ의 일부 기계간에 문제가 발생했습니다. 일단 우리가 오류를 발견했습니다. 이 시간 동안 일부 기계는 다른 DB, 다른 응용 프로그램 또는 MPG 클러스터와 같은 내부 리소스에 대화 할 수 없습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 17일 PM 1:19 UTCinvestigating

   새로운 기계는 우리가 수용량 부족 때문에 ARN에서 창조하지 않을지도 모릅니다.

2. 2026년 8월 17일 PM 3:41 UTCresolved

   ARN 지역의 용량 문제는 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 14일 PM 7:30 UTCidentified

   We are working to recover our secrets service after a failed deployment. Apps continue to run, but it is not possible to create new apps or update secrets at this time.

2. 2026년 8월 14일 PM 8:08 UTCmonitoring

   We have failed over the secrets database to a replica, and the Machines API appears healthy now. We are monitoring for any further issues.

3. 2026년 8월 14일 PM 8:33 UTCresolved

   This incident has been resolved.

1. 2026년 8월 13일 PM 5:45 UTCinvestigating

   We are currently investigating degraded ipv6 networking on a subset of hosts

2. 2026년 8월 13일 PM 5:51 UTCinvestigating

   We are continuing to investigate this issue.

3. 2026년 8월 13일 PM 6:14 UTCidentified

   The issue has been identified and a fix is being implemented.

4. 2026년 8월 13일 PM 6:36 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

5. 2026년 8월 13일 PM 6:37 UTCmonitoring

   We are continuing to monitor for any further issues.

6. 2026년 8월 13일 PM 7:41 UTCresolved

   This incident has been resolved.

1. 2026년 8월 9일 AM 2:50 UTCinvestigating

   We are currently investigating app-not-found errors returned by Machines API calls made shortly after creating new applications.

2. 2026년 8월 9일 AM 3:50 UTCidentified

   We have identified the issue as failed insertions in a subset of Corrosion batches. These failures trigger retries, which can cause timeouts for other batches.

3. 2026년 8월 9일 AM 4:58 UTCidentified

   We’ve applied a mitigation to reduce the impact from Corrosion batch insertion retries and are continuing to monitor while affected nodes catch up.

4. 2026년 8월 9일 AM 6:03 UTCidentified

   We’ve deployed an additional mitigation to further reduce Corrosion retry pressure and are seeing improvement; we’re continuing to monitor while remaining affected nodes catch up.

5. 2026년 8월 9일 AM 6:42 UTCmonitoring

   A fix has been implemented and we are monitoring the results

6. 2026년 8월 9일 AM 7:10 UTCresolved

   This incident has been resolved.

1. 2026년 8월 5일 PM 8:26 UTCidentified

   High CPU pressure on a shared etcd instance is causing lags on MPG creation in the IAD region

2. 2026년 8월 5일 PM 8:41 UTCresolved

   Etcd is stable. Services are back to normal.