Störungsverlauf von Pianoio

1. 15. August 2026 um 09:00 UTCmonitoring

   Piano identifizierte ein Problem, das den Zugriff auf Piano Insight für einige Benutzer beeinflusste. Das Zertifikat, das die Fehler verursacht, wurde erneuert und der Fix wurde intern verifiziert. Wir überwachen, um zu bestätigen, dass das Problem vollständig gelöst ist, und werden in Kürze ein weiteres Update veröffentlichen.

2. 15. August 2026 um 09:12 UTCmonitoring

   Wir werden weiterhin auf weitere Probleme achten.

3. 15. August 2026 um 09:24 UTCresolved

   Dieser Vorfall wurde behoben.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 5. August 2026 um 10:01 UTCinvestigating

   Wir haben ein Problem mit der Erstellung von Berichten. Unser Team ist sich dessen bewusst und arbeitet aktiv daran, es zu lösen.

2. 5. August 2026 um 10:59 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 5. August 2026 um 12:40 UTCresolved

   This incident has been resolved.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 27. Juli 2026 um 08:30 UTCidentified

   Piano hat ein Problem mit der Anmeldung und Registrierung für Benutzer in der EU-Region. Das Anmeldefenster öffnet sich möglicherweise nicht oder reagiert möglicherweise nicht. Wir haben die Ursache identifiziert und unser Team stellt einen Fix bereit. Wir werden ein Update teilen, sobald weitere Informationen verfügbar sind.

2. 27. Juli 2026 um 08:34 UTCidentified

   Piano hat festgestellt, dass dieses Problem die Anmeldung und Registrierung in allen Regionen betrifft, nicht nur in der EU, wie ursprünglich berichtet. Benutzer in allen Regionen können die gleichen Symptome haben - das Anmeldefenster öffnet sich nicht oder reagiert nicht mehr. Unser Team setzt den Fix weiterhin ein. Wir werden ein Update teilen, sobald weitere Informationen verfügbar sind. Betroffene Bestandteile: Registrierung + Login - US - id.piano.io Registrierung + Login - Australien - id-au.piano.io Registrierung + Login - Asien - id-ap.piano.io Registrierung + Login - EU - id.piano.io

3. 27. Juli 2026 um 08:35 UTCidentified

   Wir arbeiten weiter an einer Lösung für dieses Problem.

4. 27. Juli 2026 um 08:57 UTCidentified

   Piano kann bestätigen, dass dieses Problem nur die Regionen der USA und der EU sowie die Sandbox-Umgebung betrifft. AP und AU sind nicht betroffen. Wir entschuldigen uns für jegliche Verwirrung, die durch das frühere Update verursacht wurde. Sandbox hat keine dedizierte Statusseitenkomponente, da sie nicht Teil der Produktionsinfrastruktur ist, dieses Update ist für die Sichtbarkeit vorgesehen. Unser Team setzt den Fix weiterhin ein. Wir werden ein Update teilen, sobald weitere Informationen verfügbar sind.

5. 27. Juli 2026 um 09:20 UTCmonitoring

   Piano hat einen Fix in allen betroffenen Regionen und Umgebungen implementiert, einschließlich Sandbox. Die Anmelde- und Registrierungsfunktion wurde wiederhergestellt und funktioniert normal. Wir werden die Situation weiterhin beobachten und eine weitere Aktualisierung bereitstellen, sollten Probleme auftreten.

6. 27. Juli 2026 um 14:50 UTCresolved

   Dieser Vorfall wurde behoben.

7. 3. August 2026 um 13:20 UTCpostmortem

   RCA für den Vorfall finden Sie unter [**this link**](https://rca.piano.io/wp-content/uploads/2026/07/2026-07-27-RCA-Identity-Management-login-issues.pdf).

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 24. Juli 2026 um 07:51 UTCinvestigating

   Nach der letzten geplanten Datenbankwartung in der AP-Region haben wir eine Datenlücke identifiziert, die sich auf die Abschnitte Subscription Log und Subscription Insights des Publisher Dashboards auswirkt. Einige Kunden stellen möglicherweise fest, dass die letzten Käufe noch nicht im Subscription Log-Bericht enthalten sind, und einige Messungen in Subscription Insights können vorübergehend inkonsistent erscheinen. Unser Team regeneriert die betroffenen Daten und erwartet, dass dies innerhalb der nächsten Tage behoben wird. Wir werden ein Update teilen, sobald wir mehr Informationen haben.

2. 27. Juli 2026 um 08:04 UTCmonitoring

   Ein Fix wurde implementiert und wir überwachen die Ergebnisse.

3. 27. Juli 2026 um 08:39 UTCmonitoring

   Wir haben die betroffenen Daten für Subscription Insights wiederhergestellt und Messungen dort sollten nun korrekt angezeigt werden. Der Subscription Log-Bericht wurde noch nicht vollständig wiederhergestellt, und einige kürzlich getätigte Käufe fehlen möglicherweise noch in dieser Ansicht. Unser Team regeneriert weiterhin die verbleibenden Daten. Wir werden ein Update teilen, sobald wir mehr Informationen haben.

4. 28. Juli 2026 um 00:22 UTCresolved

   Die Datenlücke, die sich auf das Abonnementprotokoll auswirkt, wurde nun vollständig behoben, und alle kürzlich getätigten Einkäufe in der AP-Region werden im Bericht korrekt wiedergegeben. In Kombination mit dem früheren Fix zu Subscription Insights wurden beide betroffenen Bereiche des Publisher Dashboards wiederhergestellt. Dieser Vorfall ist nun gelöst. Vielen Dank für Ihre Geduld, während wir die Datenregeneration abgeschlossen haben.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 23. Juli 2026 um 12:31 UTCinvestigating

   Wir untersuchen derzeit ein Problem, das sich auf die Bereitstellung von Paywalls und Erfahrungen für Publisher in Asien und Australien auswirkt. Einige Anfragen werden nicht erfolgreich abgeschlossen. Unser Engineering-Team arbeitet aktiv daran, die Ursache zu identifizieren und den normalen Service wiederherzustellen. Wir werden ein Update teilen, sobald wir mehr Informationen haben.

2. 23. Juli 2026 um 13:00 UTCidentified

   Das Problem wurde identifiziert und ein Fix wird implementiert.

3. 23. Juli 2026 um 13:07 UTCmonitoring

   Ein Fix wurde implementiert und wir überwachen die Ergebnisse.

4. 23. Juli 2026 um 15:50 UTCresolved

   Ein internes Infrastrukturproblem, das eine Backend-Systemabhängigkeit in unserem Rechenzentrum in Tokio betraf, führte zu Authentifizierungsfehlern, die zu Anforderungsfehlern für die Audience-API führten. Da der Composer-Verkehr für Asien (AP) und Australien (AU) durch diese Instanz führt, wurden in beiden Regionen Fehler bei den Composer-Anfragen festgestellt. Dieser Vorfall wurde behoben. Unser Ingenieurteam identifizierte die Ursache und stellte das betroffene System wieder her; der Service ist in allen Regionen wieder normal. Wir entschuldigen uns für alle Unannehmlichkeiten, die dies verursacht haben könnte.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 20. Juli 2026 um 20:36 UTCidentified

   Wir beobachten Datenverarbeitungsverzögerungen im Benutzerprofil-Backend, die durch Datenverbesserungsbemühungen zur Verwaltung des cx-Präfixes und der Composer-Anwendungs-ID verursacht werden. Wenn Sie die externe Profilaktualisierungs-API von cxense verwenden (https://api.cxense.com/profile/user/external/update), werden Sie 1-2 Stunden Verzögerungen beim Lesen desselben Profils beobachten (https://api.cxense.com/profile/user/external/update). Unser Team stimmt die Daten nun in einer einzigen, korrekten Ansicht ab, und diese Abstimmung ist die Quelle der anhaltenden Verzögerung. Es sind keine Daten verloren gegangen, alle Ereignisse werden verarbeitet, derzeit mit einer ungefähren Verzögerung von 1-2 Stunden. Wir entschuldigen uns für die Unannehmlichkeiten und werden ein Update teilen, wenn der Rückstand gelöscht wird

2. 21. Juli 2026 um 11:52 UTCidentified

   Verzögerungen bei der Datenverarbeitung gehen im Backend des Benutzerprofils weiter, mit aktuellen Verzögerungen von 1-2 Stunden. Wir haben festgestellt, dass eine kürzliche Datenänderung zu einem signifikanten Anstieg des Datenvolumens für eine Teilmenge von Kunden geführt hat, was der Haupttreiber des Backlogs ist. Unser Team erhöht den Verarbeitungsdurchsatz sorgfältig und überwacht die Gesamtsystemstabilität, um weitere Probleme zu vermeiden. Wir sind optimistisch, die Situation bald zu stabilisieren und werden ein Update teilen, sobald wir mehr Informationen haben.

3. 22. Juli 2026 um 06:30 UTCmonitoring

   Die Datenverarbeitung im Piano Audience User Profiles Backend ist nahezu in Echtzeit zurückgekehrt und der Backlog ist gelöscht. Wir setzen diesen Vorfall auf Monitoring, während unser Team die Restbereinigung von früheren Datenänderungen abschließt. Wir werden ein weiteres Update teilen, sobald der Vorfall vollständig gelöst ist.

4. 24. Juli 2026 um 20:38 UTCresolved

   Der Vorfall wurde nach einer Überwachung von mehr als 24 Stunden behoben. Wir sehen die Verarbeitung der Daten in Echtzeit

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 20. Juli 2026 um 19:46 UTCidentified

   Wir beobachten Verzögerungen bei der Datenverarbeitung im Benutzerprofil-Backen, die durch Datenverbesserungsbemühungen zur Verwaltung des cx-Präfixes und der Composer-Anwendungs-ID verursacht werden. Wenn Sie die externe Profilaktualisierungs-API von cxense verwenden (https://api.cxense.com/profile/user/external/update), werden Sie 1-2 Stunden Verzögerungen beim Lesen desselben Profils beobachten (https://api.cxense.com/profile/user/external/update). Unser Team stimmt die Daten nun in einer einzigen, korrekten Ansicht ab, und diese Abstimmung ist die Quelle der anhaltenden Verzögerung. Es sind keine Daten verloren gegangen, alle Ereignisse werden verarbeitet, derzeit mit einer ungefähren Verzögerung von 1-2 Stunden. Wir entschuldigen uns für die Unannehmlichkeiten und werden ein Update teilen, wenn der Rückstand gelöscht wird

2. 20. Juli 2026 um 20:31 UTCidentified

   Wir arbeiten weiter an einer Lösung für dieses Problem.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 22. Juni 2026 um 14:59 UTCinvestigating

   We are currently experiencing a minor service disruption affecting user logins to the Piano dashboards, caused by an ongoing outage on Cloudflare's side. Our team is actively monitoring the situation. We apologize for any inconvenience this may cause and appreciate your patience. Further updates will be provided as soon as more information becomes available. For reference: https://www.cloudflarestatus.com/incidents/v3yl7jqmqj51

2. 22. Juni 2026 um 17:30 UTCmonitoring

   The incident has been mitigated, along with our provider's resolution. We will continue to monitor the situation.

3. 23. Juni 2026 um 01:02 UTCresolved

   This incident has been resolved.

1. 9. Juni 2026 um 09:52 UTCinvestigating

   Since approximately 11:00 PM (UTC) on June 8, 2026, there have been intermittent delays loading files into Snowflake. The average load duration is currently about 10 minutes, compared to the usual under 2 minutes. The issue has been identified and a ticket has been opened with Snowflake.

2. 10. Juni 2026 um 09:55 UTCresolved

   The incident has been resolved and is no longer affecting Piano Analytics. We apologise for the inconvenience caused.

3. 10. Juni 2026 um 09:55 UTCpostmortem

   **Incident explanation:** The latency was caused by an issue on our cloud data platform provider's side. An internal infrastructure configuration change introduced resource contention that affected workloads with high ingestion concurrency, leading to elevated response times and intermittent timeouts when loading files. The change has been reverted by the provider, and ingestion performance has fully returned to its normal baseline. **Actions performed:** Opened and tracked an incident with our data platform provider and provided detailed monitoring evidence to support their investigation. Deployed mitigations on our streaming ingestion stack (increased service scaling and improved handling of stalled ingestion calls) to limit customer impact during the incident. Temporarily tuned ingestion timeout and retry settings to keep file loading as stable as possible while the root cause was being addressed. Continuously monitored ingestion latency and error rates until performance returned to normal. Confirmed full recovery, then reverted the temporary configuration to restore standard behaviour and avoid masking any future issues. **Actions to come:** Continued close monitoring of ingestion latency over the coming days to confirm lasting stability. Keep the temporary mitigation patterns configurable in the code so they can be re-applied quickly should a similar provider-side degradation occur.

1. 29. Mai 2026 um 02:31 UTCinvestigating

   We are currently experiencing an issue with the Content Crawler, which is failing to crawl content. Our team is actively investigating the root cause. We will provide further updates as more information becomes available.

2. 29. Mai 2026 um 02:31 UTCinvestigating

   We are continuing to investigate this issue.

3. 29. Mai 2026 um 08:39 UTCidentified

   The issue has been identified and a fix is being implemented.

4. 29. Mai 2026 um 09:24 UTCmonitoring

   A fix has been implemented and all Content pipeline services have been restored. Some processing delays may persist while the crawling backlog clears. We will continue to monitor and confirm full resolution.

5. 29. Mai 2026 um 14:03 UTCresolved

   This incident has been resolved.

6. 4. Juni 2026 um 09:00 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/06/2026-05-29-RCA-Content-Crawler-Service-Disruption-1.pdf).

1. 28. Mai 2026 um 16:27 UTCidentified

   We identified an issue in our systems starting around 10:20 UTC that is currently degrading CXSense platform responsiveness over the /public/user/id endpoint. As a result, some users may experience failed requests, while others may experience longer response times and timeouts. Our engineering team is actively investigating and working on mitigation efforts. We will continue to provide updates as more information becomes available.

2. 28. Mai 2026 um 17:10 UTCmonitoring

   A fix has been implemented and we are currently monitoring the results. At this time, API performance has returned to normal operation levels and the platform is behaving as expected again. We will continue monitoring closely to ensure stability.

3. 29. Mai 2026 um 03:53 UTCresolved

   This incident has been resolved.

4. 15. Juni 2026 um 09:25 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/06/2026-05-28-RCA-Audience-API-Failures-happening-in-Europe-environment.pdf).

1. 20. Mai 2026 um 10:19 UTCmonitoring

   On 20 May 2026, starting at approximately 09:58 UTC, we identified an issue affecting Piano Activation in the US environment, impacting the Dashboard, Piano ID authentication, and checkout flows. A fix has been applied and the platform is now operating normally. We are continuing to monitor the situation and further details will follow. We apologise for any inconvenience caused.

2. 20. Mai 2026 um 12:41 UTCresolved

   The incident has been resolved. All services are operating normally. Between approximately 09:58 and 10:11 UTC, users in the US region may have experienced issues accessing the Piano Dashboard, signing in via Piano ID, or completing checkout flows. This was caused by a routine configuration update to our US environment that introduced a conflict and disrupted traffic routing to the affected services. Our team identified the issue, rolled back the change, and confirmed full recovery shortly after. To prevent this from happening again, we are reviewing our release process and will validate the change in a controlled manner before re-applying it. We apologize for the inconvenience and thank you for your patience.

1. 15. Mai 2026 um 08:03 UTCidentified

   We are currently experiencing degraded performance across the Publisher Dashboard in the AP environment, with data taking up to 3 hours longer than usual to reflect recent changes. This may affect any section of the Dashboard — including user search, reporting, and other data views. Our engineering team has identified the underlying cause and is actively working on a resolution. We will provide updates as the situation progresses.

2. 16. Mai 2026 um 07:16 UTCresolved

   This incident has been resolved.

1. 13. Mai 2026 um 13:48 UTCinvestigating

   We are currently investigating issues affecting the execution of experiences in our European region for segmentation that relies on custom field rules. Impacted users may notice that experiences are not triggering as expected, not reaching the desired outcome. Our engineering team is actively investigating the issue.

2. 13. Mai 2026 um 14:02 UTCmonitoring

   The issue has been identified and fixed; we're currently monitoring the experience executions.

3. 13. Mai 2026 um 18:00 UTCresolved

   This incident has been resolved.

4. 15. Mai 2026 um 09:39 UTCpostmortem

   An infrastructure update to the EU environment introduced an incompatibility that prevented Composer from retrieving Custom Fields. The issue was limited to the EU region and did not affect other environments. The update introduced a behavioural change in the network routing layer where a configuration setting that had previously been relied upon was no longer honoured under the new setup. This incompatibility was not detected during pre-production testing, as the test environments did not fully replicate the conditions needed to surface the issue. The root cause was identified and the configuration gap was addressed promptly. Piano is taking steps to improve parity between pre-production and production environments and to strengthen the validation process ahead of future infrastructure changes to prevent similar issues.

1. 13. Mai 2026 um 08:52 UTCresolved

   Between 07:42 and 07:52 AM UTC, Piano experienced elevated error rates affecting the Publisher API and ID API in the EU environment. The incident occurred during an ingress upgrade from a deprecated version to the current supported version, which caused a routing configuration incompatibility. The issue lasted approximately 10 minutes and has been fully resolved. Publisher Dashboard, Checkout, and access controls in Composer operated normally throughout the incident and were not affected.

1. 8. Mai 2026 um 22:21 UTCinvestigating

   We are currently experiencing a production incident on Piano Analytics products. Please excuse us for any inconvenience caused.

2. 8. Mai 2026 um 22:21 UTCresolved

   The issue has been resolved and all Piano Analytics tools and interfaces are fully available. We are currently catching up the delay in real-time data retrieval.

1. 8. Mai 2026 um 06:04 UTCinvestigating

   Composer is experiencing a service incident affecting C1X segmentation in both EU and US regions. Impact includes high error rates, degraded segment lookup, and degraded widget performance. The issue started at approximately 22:00 UTC on May 7 and continues with periods of instability. Our team is actively investigating the issue.

2. 8. Mai 2026 um 09:26 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 8. Mai 2026 um 17:36 UTCresolved

   The incident has been resolved.

1. 6. Mai 2026 um 13:17 UTCidentified

   We are currently experiencing an issue with Composer in our sandbox environment; the Composer module and experiences fail to load. Our team has identified the root cause and is actively working to resolve the issue. We will provide updates as more information becomes available.

2. 6. Mai 2026 um 13:43 UTCmonitoring

   The team has deployed a fix, and the issue has been resolved. Experiences are executing, and the Composer module is working normally. We will continue monitoring the remediation.

3. 6. Mai 2026 um 13:44 UTCmonitoring

   We are continuing to monitor for any further issues.

4. 7. Mai 2026 um 06:28 UTCresolved

   This incident has been resolved.

1. 5. Mai 2026 um 08:21 UTCmonitoring

   Between 06:48 and 07:05 UTC, Piano ID API experienced elevated error rates in the US cluster. Requests requiring user authentication, token verification, and user profile retrieval were affected. Other Piano services including Composer and VX subscription management were not impacted. Service has been fully restored and all systems are operating normally. We apologize for any disruption caused during this incident.

2. 5. Mai 2026 um 08:21 UTCresolved

   This incident has been resolved.

1. 27. April 2026 um 16:57 UTCinvestigating

   We have found an issue with our priority rules for API interaction on server/edge in Composer. The dev team is currently investigating. Clients may find their list order being changed or unsorted without any user interaction. We will continue updating this incident once we identify the root cause.

2. 27. April 2026 um 18:37 UTCinvestigating

   Our team has restored the priority rules to their pre-incident state while we continue to investigate the root cause. We advise customers to avoid making changes to priority rules until the investigation is complete. We will provide further updates as more information becomes available.

3. 27. April 2026 um 22:01 UTCmonitoring

   The issue has been identified and mitigated; we will continue monitoring the remediation.

4. 28. April 2026 um 09:20 UTCresolved

   This incident has been resolved.

5. 28. April 2026 um 14:04 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/04/2025-05-06-RCA-Experience-Priority-Data-Incident.pdf).