Pianoio 장애 기록

1. 2026년 10월 21일 오후 6:48 UTCidentified

   We are currently experiencing a production incident on Piano Analytics products. Please excuse us for any inconvenience caused.

2. 2026년 10월 22일 오전 7:58 UTCresolved

   The incident has been resolved and is no longer affecting Piano Analytics. We apologise for the inconvenience caused.

3. 2026년 10월 22일 오전 7:58 UTCpostmortem

   **Incident explanation:** Snowflake outage affecting multiple core Snowflake services and features. (AWS - Europe (Ireland)) Many of Snowflake's services were unavailable, which affected part of the data processing chain, certain types of exports, and the analytics API. Incident Report : https://status.snowflake.com/incidents/bfh045zclk5k **Actions performed:** Monitoring the situation while awaiting the fix from Snowflake, along with several actions on our end aimed at resolving issues caused by this incident (fixing data processing delays on our end, fixing delays in certain exports, etc.).

1. 2026년 10월 27일 오전 7:52 UTCresolved

   10월 21, 2026일 오후 18:00 UTC와 20:21 UTC 사이, 일부 사용자는 피아노 ESP 대시보드에 로그인 할 수 없습니다, 로그인 페이지가 타이밍되었습니다. 몇 가지 새로운 뉴스 레터 가입도이 시간에 기록되지 않을 수 있습니다. 문제는 외부 서비스 제공자의 혼란에 의해 발생했습니다. 수정이 배포되었으며 ESP 대시보드가 정상적으로 작동됩니다. 우리는 불편을 끼쳐 드려요.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 10월 21일 오전 6:12 UTCresolved

   약 06:54 및 15:51 UTC 10 월 16, 게시물은 LinkedIn을 통해 전송되었습니다. SocialFlow는 게시되지 않고 LinkedIn 게시물 통계 수집도 영향을 미쳤습니다. 이 문제는 LinkedIn의 측면의 변화에 의해 발생하고 해결되었습니다. 발행 및 통계 수집은 일반적으로 15:51 UTC 이후 일했습니다. 이 창에서 실패한 게시물은 자동으로 회복되지 않았고 재조정해야합니다. LinkedIn 페이지의 reauthentication는 필요하지 않습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 10월 12일 오전 7:13 UTCinvestigating

   우리는 현재 SocialFlow에서 자동화 된 출판에 영향을 미치는 문제점을 조사하고 있습니다. 클라이언트는 X를 포함한 소셜 네트워크에 게시되지 않고 출판 큐에 표시되지 않은 피드에서 새로운 콘텐츠를 볼 수 있습니다. 10월 10일부터 문제가 발생했습니다. 수동 게시는 계속 작동합니다. 우리의 엔지니어링 팀은 뿌리 원인을 식별하기 위해 적극적으로 노력하고 있습니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

2. 2026년 10월 12일 오전 8:15 UTCresolved

   이 사건은 해결되었습니다. SocialFlow에서 자동화 된 출판은 일반적으로 다시 작동하며 피드의 새로운 콘텐츠는 출판 큐에 나타나며 연결된 소셜 네트워크에 게시됩니다. 우리는 어떤 불편든지를 위해 apologize.

3. 2026년 10월 12일 오전 8:33 UTCpostmortem

   ** 루트 원인:** 클라이언트 피드에서 콘텐츠 검색에 대한 내부 구성 요소는 10 월 10에서 처리 중지하고 자동으로 재시작되지 않았습니다. 게시 시스템에 도달하는 콘텐츠의 양을 감소시키고, 연결된 소셜 네트워크에 대한 자동화 된 게시물은 지연되거나 게시되지 않았습니다. 사용자가 직접 게시 한 게시물은 영향을받지 않았습니다. ** 해결책: ** 구성 요소는 10 월 12 일 07:20 UTC에 재시작하고, 정상으로 반환된 게시. queued가 간략하게 간행 된 내용. **다음 단계:** 우리는 우리의 모니터링 및 자동화 된 복구를 개선하기 때문에이 유형의 문제가 감지하고 신속하게 해결됩니다. 우리는 붕괴를 위해 사과합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 24일 오전 8:33 UTCresolved

   사이 14:53 과 16:26 UTC 에 9월 21, 피아노 경험 문제 에 게시의 게시물 X. 이 기간 동안, 영향을받는 게시물은 전송하지 못하고, 제한된 수의 자동 재량 후, 게시되지 않고 실패로 다시보고되었다, 오류 알림은 영향을받는 계정에 전송. 이 창에서 실패한 게시물은 retroactively 한 번의 서비스를 복원하고 다시 게시 할 필요가 없습니다. 원인은 계획된 모니터링 작업 중에 만든 내부 구성 변경이었습니다. X에 출판은 완전히 복원되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 14일 오후 12:38 UTCinvestigating

   우리는 현재 피아노 분석 제품에 대한 생산 사건을 경험하고 있습니다. 불편을 드려 죄송합니다.

2. 2026년 9월 14일 오후 1:08 UTCresolved

   API ingress 설정 문제가 발견되었습니다. 이전 버전의 롤백은 문제를 해결하기 위해 적용되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 14일 오후 12:38 UTCinvestigating

   우리는 현재 피아노 분석 제품에 대한 생산 사건을 경험하고 있습니다. 불편을 드려 죄송합니다.

2. 2026년 9월 14일 오후 12:58 UTCresolved

   저자화에 관계되는 몇몇 문제 행위는 시작에서 비활성화될 때 생산에 활동되었습니다. 문제적인 네트워크 annotation는 생산 환경을 위해 desactivated되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 10일 오전 9:28 UTCmonitoring

   피아노는 미국과 유럽 연합 (EU) 지역의 사용자를위한 Composer의 액세스 체크에 영향을 미치는 문제를 확인했습니다. 이는 약 06:49 UTC로 시작되었습니다. 해당 이용 후기에 달린 코멘트가 없습니다. 우리의 팀은 상황을 밀접하게 모니터링하고 더 많은 업데이트를 제공 할 것입니다 어떤 문제 발생.

2. 2026년 9월 10일 오전 10:14 UTCmonitoring

   이 사건은 해결되었습니다. Composer의 액세스 체크는 미국 지역의 06:45 및 07:39 UTC 사이에서 영향을 미쳤습니다. 그리고 07:10 및 07:34 EU 지역에서 UTC. 액세스 체크 오류 외에도 영향을받는 서비스에 대한 요청의 비율도 같은 기간 동안 오류를 반환합니다. 모든 영향을받는 기능은 완전히 복원되었으며 더 이상 오류가 관찰되지 않았습니다.

3. 2026년 9월 10일 오전 10:14 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 11일 오전 11:01 UTCresolved

   사이 23:12 UTC 에 9월 8 과 10:03 UTC 에 9월 9, 피아노 경험 문제 에 대한 자동화 된 출판 콘텐츠 피드. 이 기간 동안 구성 된 RSS 피드는 fetched 할 수 없으며 피드 기반 게시물은 Facebook 또는 X에 게시되지 않았습니다. 문제가 활성화 된 동안 발표 된 기사는 영향을받는 소셜 계정에 자동으로 게시되지 않았습니다. 아래 문제는 주소와 피드 수집 및 출판 완전히 복원되었습니다. 우리의 팀은 반복을 방지하기 위해 조치를 계속합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 26일 오전 7:43 UTCinvestigating

   우리는 현재 미국 환경에 대한 개인화 된 콘텐츠 및 관객 세그먼트에 영향을 미치는 이슈를 조사하고 있습니다. 일부 사용자는 대상에 사용되는 사용자 프로필 데이터와 관객 세그먼트 및 사용자 프로필 데이터를 포함하여 누락되거나 삭제 된 개인화 데이터를 볼 수 있습니다. 문제가 시작되었습니다. 05:00 UTC. 우리의 엔지니어링 팀은 뿌리 원인을 식별하기 위해 적극적으로 노력하고 있습니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

2. 2026년 8월 26일 오전 8:32 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 8월 26일 오후 8:26 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 24일 오후 3:31 UTCinvestigating

   우리는 현재 미국 환경에 대한 개인화 된 콘텐츠 및 관객 세그먼트에 영향을 미치는 이슈를 조사하고 있습니다. 일부 사용자는 대상에 사용되는 사용자 프로필 데이터와 관객 세그먼트 및 사용자 프로필 데이터를 포함하여 누락되거나 삭제 된 개인화 데이터를 볼 수 있습니다. 우리의 엔지니어링 팀은 뿌리 원인을 식별하기 위해 적극적으로 노력하고 있습니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

2. 2026년 8월 24일 오후 4:46 UTCmonitoring

   API 가용성은 향상되고 완전히 빨리 회복할 것으로 예상됩니다. 한 번의 상태 페이지를 업데이트합니다.

3. 2026년 8월 24일 오후 6:04 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 24일 오전 6:44 UTCinvestigating

   우리는 현재 ESP 사용자를위한 이메일 및 푸시 알림의 배달에 영향을 미치는 문제를 조사하고 있습니다. 우리의 엔지니어링 팀은 뿌리 원인을 식별하기 위해 적극적으로 노력하고 있습니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

2. 2026년 8월 24일 오전 7:47 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

3. 2026년 8월 24일 오전 7:54 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

4. 2026년 8월 24일 오전 9:15 UTCresolved

   이 사건은 해결되었습니다. 사이 05:02 과 07:30 UTC, 우리의 호스팅 제공 업체의 데이터 센터에 단일 서버에 영향을 미치는 네트워크 오류는 이메일 렌더링, 전송, 피드 가져 오기 및 예약 된 작업을 담당 인프라를 혼란. 이 창 중에 예약된 이메일은 한 번의 서비스 복원을 보였으며, 복구가 평소보다 약간 오래된 피드 데이터를 반영할 수 있으므로 캠페인에 사용되는 내용이 단축되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 15일 오전 9:00 UTCmonitoring

   Piano는 일부 사용자를위한 Piano Insight에 대한 접근에 영향을 미치는 문제를 발견했습니다. 오류가 갱신 된 인증서는 내부에서 수정되었습니다. 우리는 문제를 완전히 해결하고 더 많은 업데이트를 곧 공유 할 수 있도록 모니터링하고 있습니다.

2. 2026년 8월 15일 오전 9:12 UTCmonitoring

   우리는 더 많은 문제를 모니터링하고 있습니다.

3. 2026년 8월 15일 오전 9:24 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 5일 오전 10:01 UTCinvestigating

   우리는 보고서 생성에 문제가 있습니다. 우리의 팀은 aware이고 그것을 해결하기 위하여 적극적으로 일합니다.

2. 2026년 8월 5일 오전 10:59 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 2026년 8월 5일 오후 12:40 UTCresolved

   This incident has been resolved.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 27일 오전 8:30 UTCidentified

   피아노는 EU 지역의 사용자에 대한 로그인 및 등록에 영향을 미치는 문제입니다. 로그인 창이 열리지 않거나 반응하지 않을 수 있습니다. 우리는 원인을 확인하고 우리의 팀은 수정을 배포합니다. 더 많은 정보를 사용할 수 있도록 업데이트를 공유합니다.

2. 2026년 7월 27일 오전 8:34 UTCidentified

   피아노는이 문제가 모든 지역에서 로그인 및 등록에 영향을 미쳤다는 것을 확인했습니다. EU는 처음보고되었습니다. 모든 지역에서 사용자는 동일한 증상을 경험할 수 있습니다. 로그인 창이 열리거나 반응하지 못합니다. 우리 팀은 계속 수정을 배포합니다. 더 많은 정보를 사용할 수 있도록 업데이트를 공유합니다. 공급 능력: 등록 + 로그인 - 미국 - id.piano.io 등록 + 로그인 - 호주 - id-au.piano.io 등록 + 로그인 - 아시아 - id-ap.piano.io 등록 + 로그인 - EU - id.piano.io

3. 2026년 7월 27일 오전 8:35 UTCidentified

   이 문제를 해결하기 위해 계속 노력하고 있습니다.

4. 2026년 7월 27일 오전 8:57 UTCidentified

   피아노는 미국과 유럽 연합 (EU) 지역뿐만 아니라 샌드 박스 환경에 영향을 미칠 수있는 사실에이 문제를 확인할 수 있습니다. AP 및 AU는 영향을 미치지 않습니다. 우리는 이전 업데이트에 기인 한 혼란에 대해 사과합니다. Sandbox는 생산 인프라의 일부가 없기 때문에 전용 상태 페이지 구성 요소가 없습니다. 이 업데이트는 가시성을 제공합니다. 우리 팀은 계속 수정을 배포합니다. 더 많은 정보를 사용할 수 있도록 업데이트를 공유합니다.

5. 2026년 7월 27일 오전 9:20 UTCmonitoring

   피아노는 Sandbox를 포함한 모든 영향을받는 지역 및 환경에 대한 수정을 구현했습니다. 로그인 및 등록 기능은 복원되어 정상적으로 작동하고 있습니다. 우리는 상황을 모니터링하고 더 많은 업데이트를 제공 할 것입니다 어떤 문제 발생.

6. 2026년 7월 27일 오후 2:50 UTCresolved

   이 사건은 해결되었습니다.

7. 2026년 8월 3일 오후 1:20 UTCpostmortem

   사건에 대한 RCA는 [**this link**](https://rca.piano.io/wp-content/uploads/2026/07/2026-07-27-RCA-Identity-Management-login-issues.pdf)에서 찾을 수 있습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 24일 오전 7:51 UTCinvestigating

   AP 지역의 최근 일정한 데이터베이스 유지 보수를 통해 게시자 대시보드의 구독 로그 및 구독 인사이트 섹션에 영향을 미치는 데이터 간격을 확인했습니다. 일부 클라이언트는 최근 구매가 구독 로그 보고서에 반영되지 않았고, 구독 통찰력의 일부 측정은 일시적으로 의도적으로 나타날 수 있습니다. 우리의 팀은 영향을받은 데이터를 재생하고 다음 몇 일 이내에 해결 될 것으로 예상됩니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

2. 2026년 7월 27일 오전 8:04 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 7월 27일 오전 8:39 UTCmonitoring

   우리는 구독 통찰력에 대한 영향을받는 데이터를 복원하고, 측정은 이제 올바르게 표시해야합니다. 구독 로그 보고서는 아직 완전히 복구되지 않았고, 최근 구매는 여전히이보기에서 누락 될 수 있습니다. 우리의 팀은 남아있는 자료를 재생하는 것을 계속합니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

4. 2026년 7월 28일 오전 12:22 UTCresolved

   구독 로그에 영향을 미치는 데이터 간격은 이제 완전히 해결되었으며 AP 지역의 모든 최근 구매는 보고서에 올바르게 반영됩니다. Subscription Insights에 대한 이전 수정과 결합 된 출판사 Dashboard의 영향을받는 영역은 정상으로 복원되었습니다. 이 사건은 이제 해결되었습니다. 우리는 데이터 재생을 완료하면서 인내 주셔서 감사합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 23일 오후 12:31 UTCinvestigating

   우리는 현재 아시아와 호주의 출판사에 대한 paywalls 및 경험의 납품에 영향을 미치는 문제점을 조사하고 있습니다. 일부 요청은 성공적으로 완료되지 않습니다. 우리의 기술설계 팀은 뿌리 원인을 확인하고 정상적인 서비스를 복구하기 위하여 적극적으로 일하고 있습니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

2. 2026년 7월 23일 오후 1:00 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

3. 2026년 7월 23일 오후 1:07 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

4. 2026년 7월 23일 오후 3:50 UTCresolved

   도쿄 데이터 센터의 백엔드 시스템 의존성에 영향을 미치는 내부 인프라 문제는 Audience API에 대한 요청 실패로 간주되는 인증 실패가 발생했습니다. 아시아 (AP) 및 호주 (AU) 경로에 대한 Composer 트래픽 때문에이 인스턴스를 통해 두 지역 모두 Composer 요청의 실패를 보았습니다. 이 사건은 해결되었습니다. 우리의 엔지니어링 팀은 원인을 확인하고 영향을받은 시스템을 복원; 서비스는 모든 지역에서 정상으로 돌아 왔습니다. 우리는이 발생 할 수있는 불편에 대해 사과합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 20일 오후 8:36 UTCidentified

   Cx prefix와 composer application ID를 관리하기 위해 데이터 개선 노력으로 인해 사용자 프로파일 백엔드의 데이터 처리 지연을 관찰하고 있습니다. cxense의 외부 프로파일 업데이트 API를 사용하는 경우 (https://api.cxense.com/profile/user/external/update)를 사용하여 동일한 프로파일을 읽을 때 지연의 1-2 시간을 관찰 할 것입니다 (https://api.cxense.com/profile/user/external/update). 우리의 팀은 이제 데이터가 단일, 정확한보기로 다시 재구성하고,이 재구성은 지속적인 지연의 근원입니다. 데이터가 분실되지 않은 경우, 모든 이벤트가 처리되고, 현재 1~2시간의 대략적인 지연이 있습니다. 우리는 inconvenience를 위해 사과하고 backlog 명확한로 갱신을 공유할 것입니다

2. 2026년 7월 21일 오전 11:52 UTCidentified

   데이터 처리 지연은 사용자 프로필 백엔드에 계속되며, 현재 1~2시간 지연이 있습니다. 우리는 최근 데이터 변경이 backlog의 기본 드라이버 인 고객의 하위 세트에 대한 데이터 볼륨에 상당한 증가로 이끌 것을 확인했습니다. 우리의 팀은 더 많은 문제를 소개하는 것을 피하기 위하여 전반적인 체계 안정성을 감시하는 동안 처리 처리 처리 처리 처리량을 주의깊게 증가합니다. 우리는 곧 상황을 안정시키는 것에 대해 낙관하고 우리가 더 많은 정보를 가지고 있기 때문에 업데이트를 공유 할 것입니다.

3. 2026년 7월 22일 오전 6:30 UTCmonitoring

   Piano Audience User Profiles 백엔드의 데이터 처리는 실시간 및 백로그인을 반환했습니다. 우리는 우리의 팀이 이전 데이터 변경에서 잔여 정리를 완료하는 동안 모니터링이 사건을 설정하고 있습니다. 우리는 사건이 완전히 해결되면 추가 업데이트를 공유합니다.

4. 2026년 7월 24일 오후 8:38 UTCresolved

   사건은 24 시간 이상 감시 후에 해결되었습니다. 실시간 데이터 처리

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 20일 오후 7:46 UTCidentified

   Cx prefix와 composer application ID를 관리하기 위한 데이터 개선 노력으로 인해 사용자 프로파일 백엔드의 데이터 처리 지연을 관찰하고 있습니다. cxense의 외부 프로파일 업데이트 API를 사용하는 경우 (https://api.cxense.com/profile/user/external/update)를 사용하여 동일한 프로파일을 읽을 때 지연의 1-2 시간을 관찰 할 것입니다 (https://api.cxense.com/profile/user/external/update). 우리의 팀은 이제 데이터가 단일, 정확한보기로 다시 재구성하고,이 재구성은 지속적인 지연의 근원입니다. 데이터가 분실되지 않은 경우, 모든 이벤트가 처리되고, 현재 1~2시간의 대략적인 지연이 있습니다. 우리는 inconvenience를 위해 사과하고 backlog 명확한로 갱신을 공유할 것입니다

2. 2026년 7월 20일 오후 8:31 UTCidentified

   이 문제를 해결하기 위해 계속 노력하고 있습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 6월 22일 오후 2:59 UTCinvestigating

   We are currently experiencing a minor service disruption affecting user logins to the Piano dashboards, caused by an ongoing outage on Cloudflare's side. Our team is actively monitoring the situation. We apologize for any inconvenience this may cause and appreciate your patience. Further updates will be provided as soon as more information becomes available. For reference: https://www.cloudflarestatus.com/incidents/v3yl7jqmqj51

2. 2026년 6월 22일 오후 5:30 UTCmonitoring

   The incident has been mitigated, along with our provider's resolution. We will continue to monitor the situation.

3. 2026년 6월 23일 오전 1:02 UTCresolved

   This incident has been resolved.