Pianoio 장애 기록

1. 2026년 8월 15일 AM 9:00 UTCmonitoring

   Piano는 일부 사용자를위한 Piano Insight에 대한 접근에 영향을 미치는 문제를 발견했습니다. 오류가 갱신 된 인증서는 내부에서 수정되었습니다. 우리는 문제를 완전히 해결하고 더 많은 업데이트를 곧 공유 할 수 있도록 모니터링하고 있습니다.

2. 2026년 8월 15일 AM 9:12 UTCmonitoring

   우리는 더 많은 문제를 모니터링하고 있습니다.

3. 2026년 8월 15일 AM 9:24 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 5일 AM 10:01 UTCinvestigating

   우리는 보고서 생성에 문제가 있습니다. 우리의 팀은 aware이고 그것을 해결하기 위하여 적극적으로 일합니다.

2. 2026년 8월 5일 AM 10:59 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 2026년 8월 5일 PM 12:40 UTCresolved

   This incident has been resolved.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 27일 AM 8:30 UTCidentified

   피아노는 EU 지역의 사용자에 대한 로그인 및 등록에 영향을 미치는 문제입니다. 로그인 창이 열리지 않거나 반응하지 않을 수 있습니다. 우리는 원인을 확인하고 우리의 팀은 수정을 배포합니다. 더 많은 정보를 사용할 수 있도록 업데이트를 공유합니다.

2. 2026년 7월 27일 AM 8:34 UTCidentified

   피아노는이 문제가 모든 지역에서 로그인 및 등록에 영향을 미쳤다는 것을 확인했습니다. EU는 처음보고되었습니다. 모든 지역에서 사용자는 동일한 증상을 경험할 수 있습니다. 로그인 창이 열리거나 반응하지 못합니다. 우리 팀은 계속 수정을 배포합니다. 더 많은 정보를 사용할 수 있도록 업데이트를 공유합니다. 공급 능력: 등록 + 로그인 - 미국 - id.piano.io 등록 + 로그인 - 호주 - id-au.piano.io 등록 + 로그인 - 아시아 - id-ap.piano.io 등록 + 로그인 - EU - id.piano.io

3. 2026년 7월 27일 AM 8:35 UTCidentified

   이 문제를 해결하기 위해 계속 노력하고 있습니다.

4. 2026년 7월 27일 AM 8:57 UTCidentified

   피아노는 미국과 유럽 연합 (EU) 지역뿐만 아니라 샌드 박스 환경에 영향을 미칠 수있는 사실에이 문제를 확인할 수 있습니다. AP 및 AU는 영향을 미치지 않습니다. 우리는 이전 업데이트에 기인 한 혼란에 대해 사과합니다. Sandbox는 생산 인프라의 일부가 없기 때문에 전용 상태 페이지 구성 요소가 없습니다. 이 업데이트는 가시성을 제공합니다. 우리 팀은 계속 수정을 배포합니다. 더 많은 정보를 사용할 수 있도록 업데이트를 공유합니다.

5. 2026년 7월 27일 AM 9:20 UTCmonitoring

   피아노는 Sandbox를 포함한 모든 영향을받는 지역 및 환경에 대한 수정을 구현했습니다. 로그인 및 등록 기능은 복원되어 정상적으로 작동하고 있습니다. 우리는 상황을 모니터링하고 더 많은 업데이트를 제공 할 것입니다 어떤 문제 발생.

6. 2026년 7월 27일 PM 2:50 UTCresolved

   이 사건은 해결되었습니다.

7. 2026년 8월 3일 PM 1:20 UTCpostmortem

   사건에 대한 RCA는 [**this link**](https://rca.piano.io/wp-content/uploads/2026/07/2026-07-27-RCA-Identity-Management-login-issues.pdf)에서 찾을 수 있습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 24일 AM 7:51 UTCinvestigating

   AP 지역의 최근 일정한 데이터베이스 유지 보수를 통해 게시자 대시보드의 구독 로그 및 구독 인사이트 섹션에 영향을 미치는 데이터 간격을 확인했습니다. 일부 클라이언트는 최근 구매가 구독 로그 보고서에 반영되지 않았고, 구독 통찰력의 일부 측정은 일시적으로 의도적으로 나타날 수 있습니다. 우리의 팀은 영향을받은 데이터를 재생하고 다음 몇 일 이내에 해결 될 것으로 예상됩니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

2. 2026년 7월 27일 AM 8:04 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 7월 27일 AM 8:39 UTCmonitoring

   우리는 구독 통찰력에 대한 영향을받는 데이터를 복원하고, 측정은 이제 올바르게 표시해야합니다. 구독 로그 보고서는 아직 완전히 복구되지 않았고, 최근 구매는 여전히이보기에서 누락 될 수 있습니다. 우리의 팀은 남아있는 자료를 재생하는 것을 계속합니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

4. 2026년 7월 28일 AM 12:22 UTCresolved

   구독 로그에 영향을 미치는 데이터 간격은 이제 완전히 해결되었으며 AP 지역의 모든 최근 구매는 보고서에 올바르게 반영됩니다. Subscription Insights에 대한 이전 수정과 결합 된 출판사 Dashboard의 영향을받는 영역은 정상으로 복원되었습니다. 이 사건은 이제 해결되었습니다. 우리는 데이터 재생을 완료하면서 인내 주셔서 감사합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 23일 PM 12:31 UTCinvestigating

   우리는 현재 아시아와 호주의 출판사에 대한 paywalls 및 경험의 납품에 영향을 미치는 문제점을 조사하고 있습니다. 일부 요청은 성공적으로 완료되지 않습니다. 우리의 기술설계 팀은 뿌리 원인을 확인하고 정상적인 서비스를 복구하기 위하여 적극적으로 일하고 있습니다. 우리는 더 많은 정보가 있기 때문에 업데이트를 공유 할 것입니다.

2. 2026년 7월 23일 PM 1:00 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

3. 2026년 7월 23일 PM 1:07 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

4. 2026년 7월 23일 PM 3:50 UTCresolved

   도쿄 데이터 센터의 백엔드 시스템 의존성에 영향을 미치는 내부 인프라 문제는 Audience API에 대한 요청 실패로 간주되는 인증 실패가 발생했습니다. 아시아 (AP) 및 호주 (AU) 경로에 대한 Composer 트래픽 때문에이 인스턴스를 통해 두 지역 모두 Composer 요청의 실패를 보았습니다. 이 사건은 해결되었습니다. 우리의 엔지니어링 팀은 원인을 확인하고 영향을받은 시스템을 복원; 서비스는 모든 지역에서 정상으로 돌아 왔습니다. 우리는이 발생 할 수있는 불편에 대해 사과합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 20일 PM 8:36 UTCidentified

   Cx prefix와 composer application ID를 관리하기 위해 데이터 개선 노력으로 인해 사용자 프로파일 백엔드의 데이터 처리 지연을 관찰하고 있습니다. cxense의 외부 프로파일 업데이트 API를 사용하는 경우 (https://api.cxense.com/profile/user/external/update)를 사용하여 동일한 프로파일을 읽을 때 지연의 1-2 시간을 관찰 할 것입니다 (https://api.cxense.com/profile/user/external/update). 우리의 팀은 이제 데이터가 단일, 정확한보기로 다시 재구성하고,이 재구성은 지속적인 지연의 근원입니다. 데이터가 분실되지 않은 경우, 모든 이벤트가 처리되고, 현재 1~2시간의 대략적인 지연이 있습니다. 우리는 inconvenience를 위해 사과하고 backlog 명확한로 갱신을 공유할 것입니다

2. 2026년 7월 21일 AM 11:52 UTCidentified

   데이터 처리 지연은 사용자 프로필 백엔드에 계속되며, 현재 1~2시간 지연이 있습니다. 우리는 최근 데이터 변경이 backlog의 기본 드라이버 인 고객의 하위 세트에 대한 데이터 볼륨에 상당한 증가로 이끌 것을 확인했습니다. 우리의 팀은 더 많은 문제를 소개하는 것을 피하기 위하여 전반적인 체계 안정성을 감시하는 동안 처리 처리 처리 처리 처리량을 주의깊게 증가합니다. 우리는 곧 상황을 안정시키는 것에 대해 낙관하고 우리가 더 많은 정보를 가지고 있기 때문에 업데이트를 공유 할 것입니다.

3. 2026년 7월 22일 AM 6:30 UTCmonitoring

   Piano Audience User Profiles 백엔드의 데이터 처리는 실시간 및 백로그인을 반환했습니다. 우리는 우리의 팀이 이전 데이터 변경에서 잔여 정리를 완료하는 동안 모니터링이 사건을 설정하고 있습니다. 우리는 사건이 완전히 해결되면 추가 업데이트를 공유합니다.

4. 2026년 7월 24일 PM 8:38 UTCresolved

   사건은 24 시간 이상 감시 후에 해결되었습니다. 실시간 데이터 처리

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 20일 PM 7:46 UTCidentified

   Cx prefix와 composer application ID를 관리하기 위한 데이터 개선 노력으로 인해 사용자 프로파일 백엔드의 데이터 처리 지연을 관찰하고 있습니다. cxense의 외부 프로파일 업데이트 API를 사용하는 경우 (https://api.cxense.com/profile/user/external/update)를 사용하여 동일한 프로파일을 읽을 때 지연의 1-2 시간을 관찰 할 것입니다 (https://api.cxense.com/profile/user/external/update). 우리의 팀은 이제 데이터가 단일, 정확한보기로 다시 재구성하고,이 재구성은 지속적인 지연의 근원입니다. 데이터가 분실되지 않은 경우, 모든 이벤트가 처리되고, 현재 1~2시간의 대략적인 지연이 있습니다. 우리는 inconvenience를 위해 사과하고 backlog 명확한로 갱신을 공유할 것입니다

2. 2026년 7월 20일 PM 8:31 UTCidentified

   이 문제를 해결하기 위해 계속 노력하고 있습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 6월 22일 PM 2:59 UTCinvestigating

   We are currently experiencing a minor service disruption affecting user logins to the Piano dashboards, caused by an ongoing outage on Cloudflare's side. Our team is actively monitoring the situation. We apologize for any inconvenience this may cause and appreciate your patience. Further updates will be provided as soon as more information becomes available. For reference: https://www.cloudflarestatus.com/incidents/v3yl7jqmqj51

2. 2026년 6월 22일 PM 5:30 UTCmonitoring

   The incident has been mitigated, along with our provider's resolution. We will continue to monitor the situation.

3. 2026년 6월 23일 AM 1:02 UTCresolved

   This incident has been resolved.

1. 2026년 6월 9일 AM 9:52 UTCinvestigating

   Since approximately 11:00 PM (UTC) on June 8, 2026, there have been intermittent delays loading files into Snowflake. The average load duration is currently about 10 minutes, compared to the usual under 2 minutes. The issue has been identified and a ticket has been opened with Snowflake.

2. 2026년 6월 10일 AM 9:55 UTCresolved

   The incident has been resolved and is no longer affecting Piano Analytics. We apologise for the inconvenience caused.

3. 2026년 6월 10일 AM 9:55 UTCpostmortem

   **Incident explanation:** The latency was caused by an issue on our cloud data platform provider's side. An internal infrastructure configuration change introduced resource contention that affected workloads with high ingestion concurrency, leading to elevated response times and intermittent timeouts when loading files. The change has been reverted by the provider, and ingestion performance has fully returned to its normal baseline. **Actions performed:** Opened and tracked an incident with our data platform provider and provided detailed monitoring evidence to support their investigation. Deployed mitigations on our streaming ingestion stack (increased service scaling and improved handling of stalled ingestion calls) to limit customer impact during the incident. Temporarily tuned ingestion timeout and retry settings to keep file loading as stable as possible while the root cause was being addressed. Continuously monitored ingestion latency and error rates until performance returned to normal. Confirmed full recovery, then reverted the temporary configuration to restore standard behaviour and avoid masking any future issues. **Actions to come:** Continued close monitoring of ingestion latency over the coming days to confirm lasting stability. Keep the temporary mitigation patterns configurable in the code so they can be re-applied quickly should a similar provider-side degradation occur.

1. 2026년 5월 29일 AM 2:31 UTCinvestigating

   We are currently experiencing an issue with the Content Crawler, which is failing to crawl content. Our team is actively investigating the root cause. We will provide further updates as more information becomes available.

2. 2026년 5월 29일 AM 2:31 UTCinvestigating

   We are continuing to investigate this issue.

3. 2026년 5월 29일 AM 8:39 UTCidentified

   The issue has been identified and a fix is being implemented.

4. 2026년 5월 29일 AM 9:24 UTCmonitoring

   A fix has been implemented and all Content pipeline services have been restored. Some processing delays may persist while the crawling backlog clears. We will continue to monitor and confirm full resolution.

5. 2026년 5월 29일 PM 2:03 UTCresolved

   This incident has been resolved.

6. 2026년 6월 4일 AM 9:00 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/06/2026-05-29-RCA-Content-Crawler-Service-Disruption-1.pdf).

1. 2026년 5월 28일 PM 4:27 UTCidentified

   We identified an issue in our systems starting around 10:20 UTC that is currently degrading CXSense platform responsiveness over the /public/user/id endpoint. As a result, some users may experience failed requests, while others may experience longer response times and timeouts. Our engineering team is actively investigating and working on mitigation efforts. We will continue to provide updates as more information becomes available.

2. 2026년 5월 28일 PM 5:10 UTCmonitoring

   A fix has been implemented and we are currently monitoring the results. At this time, API performance has returned to normal operation levels and the platform is behaving as expected again. We will continue monitoring closely to ensure stability.

3. 2026년 5월 29일 AM 3:53 UTCresolved

   This incident has been resolved.

4. 2026년 6월 15일 AM 9:25 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/06/2026-05-28-RCA-Audience-API-Failures-happening-in-Europe-environment.pdf).

1. 2026년 5월 20일 AM 10:19 UTCmonitoring

   On 20 May 2026, starting at approximately 09:58 UTC, we identified an issue affecting Piano Activation in the US environment, impacting the Dashboard, Piano ID authentication, and checkout flows. A fix has been applied and the platform is now operating normally. We are continuing to monitor the situation and further details will follow. We apologise for any inconvenience caused.

2. 2026년 5월 20일 PM 12:41 UTCresolved

   The incident has been resolved. All services are operating normally. Between approximately 09:58 and 10:11 UTC, users in the US region may have experienced issues accessing the Piano Dashboard, signing in via Piano ID, or completing checkout flows. This was caused by a routine configuration update to our US environment that introduced a conflict and disrupted traffic routing to the affected services. Our team identified the issue, rolled back the change, and confirmed full recovery shortly after. To prevent this from happening again, we are reviewing our release process and will validate the change in a controlled manner before re-applying it. We apologize for the inconvenience and thank you for your patience.

1. 2026년 5월 15일 AM 8:03 UTCidentified

   We are currently experiencing degraded performance across the Publisher Dashboard in the AP environment, with data taking up to 3 hours longer than usual to reflect recent changes. This may affect any section of the Dashboard — including user search, reporting, and other data views. Our engineering team has identified the underlying cause and is actively working on a resolution. We will provide updates as the situation progresses.

2. 2026년 5월 16일 AM 7:16 UTCresolved

   This incident has been resolved.

1. 2026년 5월 13일 PM 1:48 UTCinvestigating

   We are currently investigating issues affecting the execution of experiences in our European region for segmentation that relies on custom field rules. Impacted users may notice that experiences are not triggering as expected, not reaching the desired outcome. Our engineering team is actively investigating the issue.

2. 2026년 5월 13일 PM 2:02 UTCmonitoring

   The issue has been identified and fixed; we're currently monitoring the experience executions.

3. 2026년 5월 13일 PM 6:00 UTCresolved

   This incident has been resolved.

4. 2026년 5월 15일 AM 9:39 UTCpostmortem

   An infrastructure update to the EU environment introduced an incompatibility that prevented Composer from retrieving Custom Fields. The issue was limited to the EU region and did not affect other environments. The update introduced a behavioural change in the network routing layer where a configuration setting that had previously been relied upon was no longer honoured under the new setup. This incompatibility was not detected during pre-production testing, as the test environments did not fully replicate the conditions needed to surface the issue. The root cause was identified and the configuration gap was addressed promptly. Piano is taking steps to improve parity between pre-production and production environments and to strengthen the validation process ahead of future infrastructure changes to prevent similar issues.

1. 2026년 5월 13일 AM 8:52 UTCresolved

   Between 07:42 and 07:52 AM UTC, Piano experienced elevated error rates affecting the Publisher API and ID API in the EU environment. The incident occurred during an ingress upgrade from a deprecated version to the current supported version, which caused a routing configuration incompatibility. The issue lasted approximately 10 minutes and has been fully resolved. Publisher Dashboard, Checkout, and access controls in Composer operated normally throughout the incident and were not affected.

1. 2026년 5월 8일 PM 10:21 UTCinvestigating

   We are currently experiencing a production incident on Piano Analytics products. Please excuse us for any inconvenience caused.

2. 2026년 5월 8일 PM 10:21 UTCresolved

   The issue has been resolved and all Piano Analytics tools and interfaces are fully available. We are currently catching up the delay in real-time data retrieval.

1. 2026년 5월 8일 AM 6:04 UTCinvestigating

   Composer is experiencing a service incident affecting C1X segmentation in both EU and US regions. Impact includes high error rates, degraded segment lookup, and degraded widget performance. The issue started at approximately 22:00 UTC on May 7 and continues with periods of instability. Our team is actively investigating the issue.

2. 2026년 5월 8일 AM 9:26 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 2026년 5월 8일 PM 5:36 UTCresolved

   The incident has been resolved.

1. 2026년 5월 6일 PM 1:17 UTCidentified

   We are currently experiencing an issue with Composer in our sandbox environment; the Composer module and experiences fail to load. Our team has identified the root cause and is actively working to resolve the issue. We will provide updates as more information becomes available.

2. 2026년 5월 6일 PM 1:43 UTCmonitoring

   The team has deployed a fix, and the issue has been resolved. Experiences are executing, and the Composer module is working normally. We will continue monitoring the remediation.

3. 2026년 5월 6일 PM 1:44 UTCmonitoring

   We are continuing to monitor for any further issues.

4. 2026년 5월 7일 AM 6:28 UTCresolved

   This incident has been resolved.

1. 2026년 5월 5일 AM 8:21 UTCmonitoring

   Between 06:48 and 07:05 UTC, Piano ID API experienced elevated error rates in the US cluster. Requests requiring user authentication, token verification, and user profile retrieval were affected. Other Piano services including Composer and VX subscription management were not impacted. Service has been fully restored and all systems are operating normally. We apologize for any disruption caused during this incident.

2. 2026년 5월 5일 AM 8:21 UTCresolved

   This incident has been resolved.

1. 2026년 4월 27일 PM 4:57 UTCinvestigating

   We have found an issue with our priority rules for API interaction on server/edge in Composer. The dev team is currently investigating. Clients may find their list order being changed or unsorted without any user interaction. We will continue updating this incident once we identify the root cause.

2. 2026년 4월 27일 PM 6:37 UTCinvestigating

   Our team has restored the priority rules to their pre-incident state while we continue to investigate the root cause. We advise customers to avoid making changes to priority rules until the investigation is complete. We will provide further updates as more information becomes available.

3. 2026년 4월 27일 PM 10:01 UTCmonitoring

   The issue has been identified and mitigated; we will continue monitoring the remediation.

4. 2026년 4월 28일 AM 9:20 UTCresolved

   This incident has been resolved.

5. 2026년 4월 28일 PM 2:04 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/04/2025-05-06-RCA-Experience-Priority-Data-Incident.pdf).