Historia awarii Pianoio

1. 15 sierpnia 2026 09:00 UTCmonitoring

   Piano zidentyfikowało problem wpływający na dostęp niektórych użytkowników do Insight. Certyfikat powodujący błędy został odnowiony, a fix został zweryfikowany wewnętrznie. Monitorujemy, aby potwierdzić, że sprawa została w pełni rozwiązana i wkrótce udostępnimy kolejną aktualizację.

2. 15 sierpnia 2026 09:12 UTCmonitoring

   Nadal monitorujemy wszelkie dalsze problemy.

3. 15 sierpnia 2026 09:24 UTCresolved

   Ten incydent został rozwiązany.

Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.

1. 5 sierpnia 2026 10:01 UTCinvestigating

   Mamy problem z generowaniem sprawozdań. Nasz zespół jest świadomy i aktywnie pracuje nad rozwiązaniem tego problemu.

2. 5 sierpnia 2026 10:59 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 5 sierpnia 2026 12:40 UTCresolved

   This incident has been resolved.

Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.

1. 27 lipca 2026 08:30 UTCidentified

   Piano ma problem wpływający na login i rejestrację użytkowników w regionie UE. Okno logowania może się nie otworzyć lub nie reagować. Zidentyfikowaliśmy przyczynę, a nasz zespół wprowadza rozwiązanie. Będziemy dzielić się aktualizacją jak tylko dostępne będą dalsze informacje.

2. 27 lipca 2026 08:34 UTCidentified

   Piano stwierdził, że problem ten ma wpływ na login i rejestrację we wszystkich regionach, nie tylko w UE, jak początkowo zgłoszono. Użytkownicy we wszystkich regionach mogą odczuwać te same objawy - okno logowania nie otwiera się lub nie reaguje. Nasz zespół kontynuuje akcję. Będziemy dzielić się aktualizacją jak tylko dostępne będą dalsze informacje. Elementy dotknięte chorobą: Rejestracja + Login - US - id.piano.io Rejestracja + Login - Australia - id- au.piano.io Rejestracja + Login - Azja - id- ap.piano.io Rejestracja + Login - EU - id.piano.io

3. 27 lipca 2026 08:35 UTCidentified

   Kontynuujemy prace nad rozwiązaniem tego problemu.

4. 27 lipca 2026 08:57 UTCidentified

   Piano może w rzeczywistości potwierdzić tę kwestię tylko w regionach USA i UE, a także w środowisku Sandbox. AP i AU nie są naruszone. Przepraszamy za wszelkie zamieszanie spowodowane wcześniejszą aktualizacją. Sandbox nie posiada specjalnego komponentu strony statusu, ponieważ nie jest częścią infrastruktury produkcyjnej, ta aktualizacja jest przeznaczona do widoczności. Nasz zespół kontynuuje akcję. Będziemy dzielić się aktualizacją jak tylko dostępne będą dalsze informacje.

5. 27 lipca 2026 09:20 UTCmonitoring

   Piano wdrożył fix we wszystkich dotkniętych regionach i środowiskach, w tym Sandbox. Funkcja logowania i rejestracji została przywrócona i działa normalnie. Będziemy nadal monitorować sytuację i przedstawimy dalsze aktualizacje w przypadku wystąpienia jakichkolwiek problemów.

6. 27 lipca 2026 14:50 UTCresolved

   Ten incydent został rozwiązany.

7. 3 sierpnia 2026 13:20 UTCpostmortem

   RCA dla incydentu można znaleźć na [* * ten link * *] (https: / / rca.piano.io / wp- content / uploads / 2026 / 07 / 2026- 07- 27- RCA- Identity- Management- logine- issus.pdf).

Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.

1. 24 lipca 2026 07:51 UTCinvestigating

   Po niedawnej planowanej konserwacji bazy danych w regionie AP, zidentyfikowaliśmy lukę w danych wpływającą na sekcje dziennika subskrypcji i inwigilacji subskrypcji tablicy rozdzielczej wydawcy. Niektórzy klienci mogą zauważyć, że niedawne zakupy nie zostały jeszcze odzwierciedlone w raporcie dziennika subskrypcji, a niektóre pomiary w programach subskrypcji mogą wydawać się tymczasowo niespójne. Nasz zespół regeneruje dane i oczekuje, że zostanie to rozwiązane w ciągu najbliższych kilku dni. Będziemy dzielić się aktualizacją, jak tylko będziemy mieć więcej informacji.

2. 27 lipca 2026 08:04 UTCmonitoring

   Wprowadzono rozwiązanie i monitorujemy wyniki.

3. 27 lipca 2026 08:39 UTCmonitoring

   Przywróciliśmy dotknięte dane dla Insights Subskrypcji, a pomiary powinny być teraz wyświetlane poprawnie. Raport z dziennika subskrypcji nie został jeszcze w pełni odzyskany, a z tego punktu widzenia nadal brakuje niektórych ostatnich zakupów. Nasz zespół nadal regeneruje pozostałe dane. Będziemy dzielić się aktualizacją, jak tylko będziemy mieć więcej informacji.

4. 28 lipca 2026 00:22 UTCresolved

   Luka w danych wpływająca na dziennik subskrypcji została w pełni rozwiązana, a wszystkie niedawne zakupy w regionie AP zostały prawidłowo odzwierciedlone w sprawozdaniu. W połączeniu z wcześniejszym ustawieniem Invisions Subscription oba dotknięte obszary Dashboard Publisher zostały przywrócone do normy. Ten incydent został rozwiązany. Dziękujemy za cierpliwość, kiedy zakończyliśmy regenerację danych.

Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.

1. 23 lipca 2026 12:31 UTCinvestigating

   Obecnie badamy kwestię wpływającą na dostarczanie profili i doświadczeń wydawców w Azji i Australii. Niektóre wnioski nie są skuteczne. Nasz zespół inżynieryjny aktywnie pracuje nad zidentyfikowaniem przyczyny i przywróceniem normalnej obsługi. Będziemy dzielić się aktualizacją, jak tylko będziemy mieć więcej informacji.

2. 23 lipca 2026 13:00 UTCidentified

   Problem został zidentyfikowany i jest w trakcie wdrażania.

3. 23 lipca 2026 13:07 UTCmonitoring

   Wprowadzono rozwiązanie i monitorujemy wyniki.

4. 23 lipca 2026 15:50 UTCresolved

   Wewnętrzna kwestia infrastruktury wpływająca na zależność systemu backend w naszym centrum danych w Tokio spowodowała awarie uwierzytelniania, które doprowadziły do awarii w systemie API dla publiczności. Ponieważ ruch kompozytora na trasach Azja (AP) i Australia (AU) w tym przypadku, oba regiony odnotowały niepowodzenia w zakresie wniosków kompozytora. Ten incydent został rozwiązany. Nasz zespół inżynieryjny zidentyfikował przyczynę i przywrócił dotknięty system; obsługa wróciła do normy we wszystkich regionach. Przepraszamy za wszelkie niedogodności.

Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.

1. 20 lipca 2026 20:36 UTCidentified

   Obserwujemy opóźnienia w przetwarzaniu danych na tle profilu użytkownika spowodowane wysiłkami poprawy danych w zakresie zarządzania przedrostkiem cx i identyfikatorem aplikacji kompozytora. Jeśli korzystasz z zewnętrznej aktualizacji profilu cxense API (https: / / api.cxense.com / profile / user / external / update), będziesz obserwował 1-2 godziny opóźnień podczas czytania tego samego profilu za pomocą (https: / / api.cxense.com / profile / user / external / update). Nasz zespół łączy dane z powrotem w jeden, poprawny widok, a to pojednanie jest źródłem trwającego opóźnienia. Brak danych, wszystkie wydarzenia są przetwarzane, obecnie z przybliżonym opóźnieniem 1-2 godzin. Przepraszamy za niedogodności i podzielimy się aktualizacją jako zaległości czyste

2. 21 lipca 2026 11:52 UTCidentified

   Opóźnienia w przetwarzaniu danych są kontynuowane w tle Profile użytkownika, przy czym aktualne opóźnienia wynoszą 1-2 godziny. Zidentyfikowaliśmy, że niedawna zmiana danych doprowadziła do znacznego wzrostu wolumenu danych dla podzbioru klientów, który jest głównym motorem zaległości. Nasz zespół uważnie zwiększa przepustowość przetwarzania, a jednocześnie uważnie monitoruje ogólną stabilność systemu, aby uniknąć wprowadzania dalszych problemów. Jesteśmy optymistami co do ustabilizowania sytuacji wkrótce i będziemy dzielić się aktualizacją jak tylko będziemy mieć więcej informacji.

3. 22 lipca 2026 06:30 UTCmonitoring

   Przetwarzanie danych na serwerze Profile użytkowników fortepianu powróciło do niedalekiego czasu rzeczywistego, a zaległości są usuwane. Ustawiamy ten incydent na Monitoring, podczas gdy nasz zespół kończy sprzątanie po wcześniejszej zmianie danych. Podzielimy się dalszymi aktualizacjami, gdy sprawa zostanie w pełni rozwiązana.

4. 24 lipca 2026 20:38 UTCresolved

   Incydent został rozwiązany po monitorowaniu przez ponad 24 godziny. Widzimy przetwarzanie danych w czasie rzeczywistym

Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.

1. 20 lipca 2026 19:46 UTCidentified

   Obserwujemy opóźnienia w przetwarzaniu danych na odwrocie profilu Użytkownika spowodowane wysiłkami poprawy danych w zakresie zarządzania przedrostkiem cx i identyfikatorem aplikacji kompozytora. Jeśli korzystasz z zewnętrznej aktualizacji profilu cxense API (https: / / api.cxense.com / profile / user / external / update), będziesz obserwował 1-2 godziny opóźnień podczas czytania tego samego profilu za pomocą (https: / / api.cxense.com / profile / user / external / update). Nasz zespół łączy dane z powrotem w jeden, poprawny widok, a to pojednanie jest źródłem trwającego opóźnienia. Brak danych, wszystkie wydarzenia są przetwarzane, obecnie z przybliżonym opóźnieniem 1-2 godzin. Przepraszamy za niedogodności i podzielimy się aktualizacją jako zaległości czyste

2. 20 lipca 2026 20:31 UTCidentified

   Kontynuujemy prace nad rozwiązaniem tego problemu.

Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.

1. 22 czerwca 2026 14:59 UTCinvestigating

   We are currently experiencing a minor service disruption affecting user logins to the Piano dashboards, caused by an ongoing outage on Cloudflare's side. Our team is actively monitoring the situation. We apologize for any inconvenience this may cause and appreciate your patience. Further updates will be provided as soon as more information becomes available. For reference: https://www.cloudflarestatus.com/incidents/v3yl7jqmqj51

2. 22 czerwca 2026 17:30 UTCmonitoring

   The incident has been mitigated, along with our provider's resolution. We will continue to monitor the situation.

3. 23 czerwca 2026 01:02 UTCresolved

   This incident has been resolved.

1. 9 czerwca 2026 09:52 UTCinvestigating

   Since approximately 11:00 PM (UTC) on June 8, 2026, there have been intermittent delays loading files into Snowflake. The average load duration is currently about 10 minutes, compared to the usual under 2 minutes. The issue has been identified and a ticket has been opened with Snowflake.

2. 10 czerwca 2026 09:55 UTCresolved

   The incident has been resolved and is no longer affecting Piano Analytics. We apologise for the inconvenience caused.

3. 10 czerwca 2026 09:55 UTCpostmortem

   **Incident explanation:** The latency was caused by an issue on our cloud data platform provider's side. An internal infrastructure configuration change introduced resource contention that affected workloads with high ingestion concurrency, leading to elevated response times and intermittent timeouts when loading files. The change has been reverted by the provider, and ingestion performance has fully returned to its normal baseline. **Actions performed:** Opened and tracked an incident with our data platform provider and provided detailed monitoring evidence to support their investigation. Deployed mitigations on our streaming ingestion stack (increased service scaling and improved handling of stalled ingestion calls) to limit customer impact during the incident. Temporarily tuned ingestion timeout and retry settings to keep file loading as stable as possible while the root cause was being addressed. Continuously monitored ingestion latency and error rates until performance returned to normal. Confirmed full recovery, then reverted the temporary configuration to restore standard behaviour and avoid masking any future issues. **Actions to come:** Continued close monitoring of ingestion latency over the coming days to confirm lasting stability. Keep the temporary mitigation patterns configurable in the code so they can be re-applied quickly should a similar provider-side degradation occur.

1. 29 maja 2026 02:31 UTCinvestigating

   We are currently experiencing an issue with the Content Crawler, which is failing to crawl content. Our team is actively investigating the root cause. We will provide further updates as more information becomes available.

2. 29 maja 2026 02:31 UTCinvestigating

   We are continuing to investigate this issue.

3. 29 maja 2026 08:39 UTCidentified

   The issue has been identified and a fix is being implemented.

4. 29 maja 2026 09:24 UTCmonitoring

   A fix has been implemented and all Content pipeline services have been restored. Some processing delays may persist while the crawling backlog clears. We will continue to monitor and confirm full resolution.

5. 29 maja 2026 14:03 UTCresolved

   This incident has been resolved.

6. 4 czerwca 2026 09:00 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/06/2026-05-29-RCA-Content-Crawler-Service-Disruption-1.pdf).

1. 28 maja 2026 16:27 UTCidentified

   We identified an issue in our systems starting around 10:20 UTC that is currently degrading CXSense platform responsiveness over the /public/user/id endpoint. As a result, some users may experience failed requests, while others may experience longer response times and timeouts. Our engineering team is actively investigating and working on mitigation efforts. We will continue to provide updates as more information becomes available.

2. 28 maja 2026 17:10 UTCmonitoring

   A fix has been implemented and we are currently monitoring the results. At this time, API performance has returned to normal operation levels and the platform is behaving as expected again. We will continue monitoring closely to ensure stability.

3. 29 maja 2026 03:53 UTCresolved

   This incident has been resolved.

4. 15 czerwca 2026 09:25 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/06/2026-05-28-RCA-Audience-API-Failures-happening-in-Europe-environment.pdf).

1. 20 maja 2026 10:19 UTCmonitoring

   On 20 May 2026, starting at approximately 09:58 UTC, we identified an issue affecting Piano Activation in the US environment, impacting the Dashboard, Piano ID authentication, and checkout flows. A fix has been applied and the platform is now operating normally. We are continuing to monitor the situation and further details will follow. We apologise for any inconvenience caused.

2. 20 maja 2026 12:41 UTCresolved

   The incident has been resolved. All services are operating normally. Between approximately 09:58 and 10:11 UTC, users in the US region may have experienced issues accessing the Piano Dashboard, signing in via Piano ID, or completing checkout flows. This was caused by a routine configuration update to our US environment that introduced a conflict and disrupted traffic routing to the affected services. Our team identified the issue, rolled back the change, and confirmed full recovery shortly after. To prevent this from happening again, we are reviewing our release process and will validate the change in a controlled manner before re-applying it. We apologize for the inconvenience and thank you for your patience.

1. 15 maja 2026 08:03 UTCidentified

   We are currently experiencing degraded performance across the Publisher Dashboard in the AP environment, with data taking up to 3 hours longer than usual to reflect recent changes. This may affect any section of the Dashboard — including user search, reporting, and other data views. Our engineering team has identified the underlying cause and is actively working on a resolution. We will provide updates as the situation progresses.

2. 16 maja 2026 07:16 UTCresolved

   This incident has been resolved.

1. 13 maja 2026 13:48 UTCinvestigating

   We are currently investigating issues affecting the execution of experiences in our European region for segmentation that relies on custom field rules. Impacted users may notice that experiences are not triggering as expected, not reaching the desired outcome. Our engineering team is actively investigating the issue.

2. 13 maja 2026 14:02 UTCmonitoring

   The issue has been identified and fixed; we're currently monitoring the experience executions.

3. 13 maja 2026 18:00 UTCresolved

   This incident has been resolved.

4. 15 maja 2026 09:39 UTCpostmortem

   An infrastructure update to the EU environment introduced an incompatibility that prevented Composer from retrieving Custom Fields. The issue was limited to the EU region and did not affect other environments. The update introduced a behavioural change in the network routing layer where a configuration setting that had previously been relied upon was no longer honoured under the new setup. This incompatibility was not detected during pre-production testing, as the test environments did not fully replicate the conditions needed to surface the issue. The root cause was identified and the configuration gap was addressed promptly. Piano is taking steps to improve parity between pre-production and production environments and to strengthen the validation process ahead of future infrastructure changes to prevent similar issues.

1. 13 maja 2026 08:52 UTCresolved

   Between 07:42 and 07:52 AM UTC, Piano experienced elevated error rates affecting the Publisher API and ID API in the EU environment. The incident occurred during an ingress upgrade from a deprecated version to the current supported version, which caused a routing configuration incompatibility. The issue lasted approximately 10 minutes and has been fully resolved. Publisher Dashboard, Checkout, and access controls in Composer operated normally throughout the incident and were not affected.

1. 8 maja 2026 22:21 UTCinvestigating

   We are currently experiencing a production incident on Piano Analytics products. Please excuse us for any inconvenience caused.

2. 8 maja 2026 22:21 UTCresolved

   The issue has been resolved and all Piano Analytics tools and interfaces are fully available. We are currently catching up the delay in real-time data retrieval.

1. 8 maja 2026 06:04 UTCinvestigating

   Composer is experiencing a service incident affecting C1X segmentation in both EU and US regions. Impact includes high error rates, degraded segment lookup, and degraded widget performance. The issue started at approximately 22:00 UTC on May 7 and continues with periods of instability. Our team is actively investigating the issue.

2. 8 maja 2026 09:26 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 8 maja 2026 17:36 UTCresolved

   The incident has been resolved.

1. 6 maja 2026 13:17 UTCidentified

   We are currently experiencing an issue with Composer in our sandbox environment; the Composer module and experiences fail to load. Our team has identified the root cause and is actively working to resolve the issue. We will provide updates as more information becomes available.

2. 6 maja 2026 13:43 UTCmonitoring

   The team has deployed a fix, and the issue has been resolved. Experiences are executing, and the Composer module is working normally. We will continue monitoring the remediation.

3. 6 maja 2026 13:44 UTCmonitoring

   We are continuing to monitor for any further issues.

4. 7 maja 2026 06:28 UTCresolved

   This incident has been resolved.

1. 5 maja 2026 08:21 UTCmonitoring

   Between 06:48 and 07:05 UTC, Piano ID API experienced elevated error rates in the US cluster. Requests requiring user authentication, token verification, and user profile retrieval were affected. Other Piano services including Composer and VX subscription management were not impacted. Service has been fully restored and all systems are operating normally. We apologize for any disruption caused during this incident.

2. 5 maja 2026 08:21 UTCresolved

   This incident has been resolved.

1. 27 kwietnia 2026 16:57 UTCinvestigating

   We have found an issue with our priority rules for API interaction on server/edge in Composer. The dev team is currently investigating. Clients may find their list order being changed or unsorted without any user interaction. We will continue updating this incident once we identify the root cause.

2. 27 kwietnia 2026 18:37 UTCinvestigating

   Our team has restored the priority rules to their pre-incident state while we continue to investigate the root cause. We advise customers to avoid making changes to priority rules until the investigation is complete. We will provide further updates as more information becomes available.

3. 27 kwietnia 2026 22:01 UTCmonitoring

   The issue has been identified and mitigated; we will continue monitoring the remediation.

4. 28 kwietnia 2026 09:20 UTCresolved

   This incident has been resolved.

5. 28 kwietnia 2026 14:04 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/04/2025-05-06-RCA-Experience-Priority-Data-Incident.pdf).