История сбоев Pianoio

1. 15 августа 2026 г. в 09:00 UTCmonitoring

   Piano выявил проблему, затрагивающую доступ к Piano Insight для некоторых пользователей. Сертификат, вызывающий ошибки, был обновлен, и исправление было проверено внутри компании. Мы отслеживаем, чтобы подтвердить, что проблема полностью решена, и вскоре поделимся дальнейшим обновлением.

2. 15 августа 2026 г. в 09:12 UTCmonitoring

   Мы продолжаем отслеживать любые дополнительные проблемы.

3. 15 августа 2026 г. в 09:24 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 5 августа 2026 г. в 10:01 UTCinvestigating

   Мы столкнулись с проблемой генерации отчетов. Наша команда знает и активно работает над его решением.

2. 5 августа 2026 г. в 10:59 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 5 августа 2026 г. в 12:40 UTCresolved

   This incident has been resolved.

Автоматический перевод официального обновления инцидента.

1. 27 июля 2026 г. в 08:30 UTCidentified

   Piano сталкивается с проблемой, затрагивающей логин и регистрацию пользователей в регионе ЕС. Окно входа может не открыться или может быть не реагирующим. Мы определили причину, и наша команда внедряет исправление. Мы поделимся обновлениями, как только появится дополнительная информация.

2. 27 июля 2026 г. в 08:34 UTCidentified

   Piano определила, что этот вопрос влияет на логин и регистрацию во всех регионах, а не только в ЕС. Пользователи во всех регионах могут испытывать одни и те же симптомы — окно входа не открывается или становится невосприимчивым. Наша команда продолжает развертывать исправление. Мы поделимся обновлениями, как только появится дополнительная информация. Пострадавшие компоненты: Регистрация + Логин - США - id.piano.io Регистрация + Логин - Австралия - id-au.piano.io Регистрация + Логин - Азия - id-ap.piano.io Регистрация + Логин - ЕС - id.piano.io

3. 27 июля 2026 г. в 08:35 UTCidentified

   Мы продолжаем работать над решением этой проблемы.

4. 27 июля 2026 г. в 08:57 UTCidentified

   Фортепиано может подтвердить, что эта проблема на самом деле затрагивает только регионы США и ЕС, а также среду Sandbox. AP и AU не затронуты. Мы приносим извинения за любую путаницу, вызванную предыдущим обновлением. Песочница не имеет выделенного компонента страницы статуса, поскольку она не является частью производственной инфраструктуры, это обновление предусмотрено для видимости. Наша команда продолжает развертывать исправление. Мы поделимся обновлениями, как только появится дополнительная информация.

5. 27 июля 2026 г. в 09:20 UTCmonitoring

   Piano внедрил исправление во всех пострадавших регионах и средах, включая песочницу. Функционал входа и регистрации восстановлен и работает в штатном режиме. Мы продолжим следить за ситуацией и предоставим дополнительную информацию в случае возникновения каких-либо проблем.

6. 27 июля 2026 г. в 14:50 UTCresolved

   Этот инцидент был урегулирован.

7. 3 августа 2026 г. в 13:20 UTCpostmortem

   RCA для инцидента можно найти по адресу [**эта ссылка**] (https://rca.piano.io/wp-content/uploads/2026/07/2026-07-27-RCA-Identity-Management-login-issues.pdf).

Автоматический перевод официального обновления инцидента.

1. 24 июля 2026 г. в 07:51 UTCinvestigating

   После недавнего запланированного обслуживания базы данных в регионе AP мы выявили пробел в данных, влияющий на разделы журнала подписки и инсайт подписки панели издателя. Некоторые клиенты могут заметить, что недавние покупки еще не отражены в отчете журнала подписки, а некоторые измерения в Subscription Insights могут показаться временно непоследовательными. Наша команда восстанавливает данные и ожидает, что это будет решено в течение следующих нескольких дней. Мы поделимся обновлениями, как только у нас будет больше информации.

2. 27 июля 2026 г. в 08:04 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

3. 27 июля 2026 г. в 08:39 UTCmonitoring

   Мы восстановили затронутые данные для Subscription Insights, и измерения теперь должны отображаться правильно. Отчет журнала подписки еще не полностью восстановлен, и некоторые недавние покупки все еще могут отсутствовать с этой точки зрения. Наша команда продолжает восстанавливать оставшиеся данные. Мы поделимся обновлениями, как только у нас будет больше информации.

4. 28 июля 2026 г. в 00:22 UTCresolved

   Пробел в данных, влияющий на журнал подписки, в настоящее время полностью устранен, и все недавние покупки в регионе AP правильно отражены в отчете. В сочетании с более ранним исправлением Subscription Insights, обе пораженные области панели инструментов Publisher были восстановлены в нормальном состоянии. Теперь этот инцидент урегулирован. Спасибо за ваше терпение, пока мы завершаем регенерацию данных.

Автоматический перевод официального обновления инцидента.

1. 23 июля 2026 г. в 12:31 UTCinvestigating

   В настоящее время мы расследуем вопрос, влияющий на предоставление платных веб-сайтов и опыта для издателей в Азии и Австралии. Некоторые запросы не могут быть успешно выполнены. Наша инженерная команда активно работает над выявлением первопричины и восстановлением нормального обслуживания. Мы поделимся обновлениями, как только у нас будет больше информации.

2. 23 июля 2026 г. в 13:00 UTCidentified

   Этот вопрос был определен, и в настоящее время осуществляется исправление.

3. 23 июля 2026 г. в 13:07 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

4. 23 июля 2026 г. в 15:50 UTCresolved

   Проблема внутренней инфраструктуры, затрагивающая зависимость бэкэнд-системы в нашем токийском центре обработки данных, вызвала сбои аутентификации, которые привели к сбоям запросов для API Audience. Поскольку трафик Composer для маршрутов Азии (AP) и Австралии (AU) через этот экземпляр, оба региона увидели сбои в запросах Composer. Этот инцидент был урегулирован. Наша инженерная команда выявила причину и восстановила пораженную систему, сервис вернулся в норму во всех регионах. Мы приносим извинения за любые неудобства, которые это могло вызвать.

Автоматический перевод официального обновления инцидента.

1. 20 июля 2026 г. в 20:36 UTCidentified

   Мы наблюдаем задержки обработки данных на бэкэнде профиля пользователя, вызванные усилиями по улучшению данных для управления префиксом cx и идентификатором приложения композитора. Если вы используете API обновления внешнего профиля cxense (https://api.cxense.com/profile/user/external/update), вы будете наблюдать 1-2 часа задержки при чтении того же профиля с использованием (https://api.cxense.com/profile/user/external/update). Теперь наша команда согласует данные в едином правильном виде, и это согласование является источником продолжающейся задержки. Данные не были потеряны, все события обрабатываются, в настоящее время с приблизительной задержкой в 1-2 часа. Мы приносим извинения за неудобства и поделимся обновлением, поскольку отставание ясно

2. 21 июля 2026 г. в 11:52 UTCidentified

   Задержки обработки данных продолжаются на бэкэнде профиля пользователя с текущими задержками 1-2 часа. Мы определили, что недавнее изменение данных привело к значительному увеличению объема данных для подмножества клиентов, что является основным драйвером отставания. Наша команда тщательно увеличивает пропускную способность обработки, внимательно следя за общей стабильностью системы, чтобы избежать дальнейших проблем. Мы с оптимизмом смотрим на стабилизацию ситуации в ближайшее время и поделимся обновлениями, как только у нас будет больше информации.

3. 22 июля 2026 г. в 06:30 UTCmonitoring

   Обработка данных на бэкэнде Piano Audience User Profiles вернулась почти в режиме реального времени, и отставание было устранено. Мы устанавливаем этот инцидент для мониторинга, пока наша команда завершает остаточное очистку от более раннего изменения данных. Мы поделимся дополнительной информацией после того, как инцидент будет полностью урегулирован.

4. 24 июля 2026 г. в 20:38 UTCresolved

   Инцидент был урегулирован после мониторинга более 24 часов. Мы видим обработку данных в режиме реального времени

Автоматический перевод официального обновления инцидента.

1. 20 июля 2026 г. в 19:46 UTCidentified

   Мы наблюдаем задержки обработки данных на задней панели профиля пользователя, вызванные усилиями по улучшению данных для управления префиксом cx и идентификатором приложения композитора. Если вы используете API обновления внешнего профиля cxense (https://api.cxense.com/profile/user/external/update), вы будете наблюдать 1-2 часа задержки при чтении того же профиля с использованием (https://api.cxense.com/profile/user/external/update). Теперь наша команда согласует данные в едином правильном виде, и это согласование является источником продолжающейся задержки. Данные не были потеряны, все события обрабатываются, в настоящее время с приблизительной задержкой в 1-2 часа. Мы приносим извинения за неудобства и поделимся обновлением, поскольку отставание ясно

2. 20 июля 2026 г. в 20:31 UTCidentified

   Мы продолжаем работать над решением этой проблемы.

Автоматический перевод официального обновления инцидента.

1. 22 июня 2026 г. в 14:59 UTCinvestigating

   We are currently experiencing a minor service disruption affecting user logins to the Piano dashboards, caused by an ongoing outage on Cloudflare's side. Our team is actively monitoring the situation. We apologize for any inconvenience this may cause and appreciate your patience. Further updates will be provided as soon as more information becomes available. For reference: https://www.cloudflarestatus.com/incidents/v3yl7jqmqj51

2. 22 июня 2026 г. в 17:30 UTCmonitoring

   The incident has been mitigated, along with our provider's resolution. We will continue to monitor the situation.

3. 23 июня 2026 г. в 01:02 UTCresolved

   This incident has been resolved.

1. 9 июня 2026 г. в 09:52 UTCinvestigating

   Since approximately 11:00 PM (UTC) on June 8, 2026, there have been intermittent delays loading files into Snowflake. The average load duration is currently about 10 minutes, compared to the usual under 2 minutes. The issue has been identified and a ticket has been opened with Snowflake.

2. 10 июня 2026 г. в 09:55 UTCresolved

   The incident has been resolved and is no longer affecting Piano Analytics. We apologise for the inconvenience caused.

3. 10 июня 2026 г. в 09:55 UTCpostmortem

   **Incident explanation:** The latency was caused by an issue on our cloud data platform provider's side. An internal infrastructure configuration change introduced resource contention that affected workloads with high ingestion concurrency, leading to elevated response times and intermittent timeouts when loading files. The change has been reverted by the provider, and ingestion performance has fully returned to its normal baseline. **Actions performed:** Opened and tracked an incident with our data platform provider and provided detailed monitoring evidence to support their investigation. Deployed mitigations on our streaming ingestion stack (increased service scaling and improved handling of stalled ingestion calls) to limit customer impact during the incident. Temporarily tuned ingestion timeout and retry settings to keep file loading as stable as possible while the root cause was being addressed. Continuously monitored ingestion latency and error rates until performance returned to normal. Confirmed full recovery, then reverted the temporary configuration to restore standard behaviour and avoid masking any future issues. **Actions to come:** Continued close monitoring of ingestion latency over the coming days to confirm lasting stability. Keep the temporary mitigation patterns configurable in the code so they can be re-applied quickly should a similar provider-side degradation occur.

1. 29 мая 2026 г. в 02:31 UTCinvestigating

   We are currently experiencing an issue with the Content Crawler, which is failing to crawl content. Our team is actively investigating the root cause. We will provide further updates as more information becomes available.

2. 29 мая 2026 г. в 02:31 UTCinvestigating

   We are continuing to investigate this issue.

3. 29 мая 2026 г. в 08:39 UTCidentified

   The issue has been identified and a fix is being implemented.

4. 29 мая 2026 г. в 09:24 UTCmonitoring

   A fix has been implemented and all Content pipeline services have been restored. Some processing delays may persist while the crawling backlog clears. We will continue to monitor and confirm full resolution.

5. 29 мая 2026 г. в 14:03 UTCresolved

   This incident has been resolved.

6. 4 июня 2026 г. в 09:00 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/06/2026-05-29-RCA-Content-Crawler-Service-Disruption-1.pdf).

1. 28 мая 2026 г. в 16:27 UTCidentified

   We identified an issue in our systems starting around 10:20 UTC that is currently degrading CXSense platform responsiveness over the /public/user/id endpoint. As a result, some users may experience failed requests, while others may experience longer response times and timeouts. Our engineering team is actively investigating and working on mitigation efforts. We will continue to provide updates as more information becomes available.

2. 28 мая 2026 г. в 17:10 UTCmonitoring

   A fix has been implemented and we are currently monitoring the results. At this time, API performance has returned to normal operation levels and the platform is behaving as expected again. We will continue monitoring closely to ensure stability.

3. 29 мая 2026 г. в 03:53 UTCresolved

   This incident has been resolved.

4. 15 июня 2026 г. в 09:25 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/06/2026-05-28-RCA-Audience-API-Failures-happening-in-Europe-environment.pdf).

1. 20 мая 2026 г. в 10:19 UTCmonitoring

   On 20 May 2026, starting at approximately 09:58 UTC, we identified an issue affecting Piano Activation in the US environment, impacting the Dashboard, Piano ID authentication, and checkout flows. A fix has been applied and the platform is now operating normally. We are continuing to monitor the situation and further details will follow. We apologise for any inconvenience caused.

2. 20 мая 2026 г. в 12:41 UTCresolved

   The incident has been resolved. All services are operating normally. Between approximately 09:58 and 10:11 UTC, users in the US region may have experienced issues accessing the Piano Dashboard, signing in via Piano ID, or completing checkout flows. This was caused by a routine configuration update to our US environment that introduced a conflict and disrupted traffic routing to the affected services. Our team identified the issue, rolled back the change, and confirmed full recovery shortly after. To prevent this from happening again, we are reviewing our release process and will validate the change in a controlled manner before re-applying it. We apologize for the inconvenience and thank you for your patience.

1. 15 мая 2026 г. в 08:03 UTCidentified

   We are currently experiencing degraded performance across the Publisher Dashboard in the AP environment, with data taking up to 3 hours longer than usual to reflect recent changes. This may affect any section of the Dashboard — including user search, reporting, and other data views. Our engineering team has identified the underlying cause and is actively working on a resolution. We will provide updates as the situation progresses.

2. 16 мая 2026 г. в 07:16 UTCresolved

   This incident has been resolved.

1. 13 мая 2026 г. в 13:48 UTCinvestigating

   We are currently investigating issues affecting the execution of experiences in our European region for segmentation that relies on custom field rules. Impacted users may notice that experiences are not triggering as expected, not reaching the desired outcome. Our engineering team is actively investigating the issue.

2. 13 мая 2026 г. в 14:02 UTCmonitoring

   The issue has been identified and fixed; we're currently monitoring the experience executions.

3. 13 мая 2026 г. в 18:00 UTCresolved

   This incident has been resolved.

4. 15 мая 2026 г. в 09:39 UTCpostmortem

   An infrastructure update to the EU environment introduced an incompatibility that prevented Composer from retrieving Custom Fields. The issue was limited to the EU region and did not affect other environments. The update introduced a behavioural change in the network routing layer where a configuration setting that had previously been relied upon was no longer honoured under the new setup. This incompatibility was not detected during pre-production testing, as the test environments did not fully replicate the conditions needed to surface the issue. The root cause was identified and the configuration gap was addressed promptly. Piano is taking steps to improve parity between pre-production and production environments and to strengthen the validation process ahead of future infrastructure changes to prevent similar issues.

1. 13 мая 2026 г. в 08:52 UTCresolved

   Between 07:42 and 07:52 AM UTC, Piano experienced elevated error rates affecting the Publisher API and ID API in the EU environment. The incident occurred during an ingress upgrade from a deprecated version to the current supported version, which caused a routing configuration incompatibility. The issue lasted approximately 10 minutes and has been fully resolved. Publisher Dashboard, Checkout, and access controls in Composer operated normally throughout the incident and were not affected.

1. 8 мая 2026 г. в 22:21 UTCinvestigating

   We are currently experiencing a production incident on Piano Analytics products. Please excuse us for any inconvenience caused.

2. 8 мая 2026 г. в 22:21 UTCresolved

   The issue has been resolved and all Piano Analytics tools and interfaces are fully available. We are currently catching up the delay in real-time data retrieval.

1. 8 мая 2026 г. в 06:04 UTCinvestigating

   Composer is experiencing a service incident affecting C1X segmentation in both EU and US regions. Impact includes high error rates, degraded segment lookup, and degraded widget performance. The issue started at approximately 22:00 UTC on May 7 and continues with periods of instability. Our team is actively investigating the issue.

2. 8 мая 2026 г. в 09:26 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 8 мая 2026 г. в 17:36 UTCresolved

   The incident has been resolved.

1. 6 мая 2026 г. в 13:17 UTCidentified

   We are currently experiencing an issue with Composer in our sandbox environment; the Composer module and experiences fail to load. Our team has identified the root cause and is actively working to resolve the issue. We will provide updates as more information becomes available.

2. 6 мая 2026 г. в 13:43 UTCmonitoring

   The team has deployed a fix, and the issue has been resolved. Experiences are executing, and the Composer module is working normally. We will continue monitoring the remediation.

3. 6 мая 2026 г. в 13:44 UTCmonitoring

   We are continuing to monitor for any further issues.

4. 7 мая 2026 г. в 06:28 UTCresolved

   This incident has been resolved.

1. 5 мая 2026 г. в 08:21 UTCmonitoring

   Between 06:48 and 07:05 UTC, Piano ID API experienced elevated error rates in the US cluster. Requests requiring user authentication, token verification, and user profile retrieval were affected. Other Piano services including Composer and VX subscription management were not impacted. Service has been fully restored and all systems are operating normally. We apologize for any disruption caused during this incident.

2. 5 мая 2026 г. в 08:21 UTCresolved

   This incident has been resolved.

1. 27 апреля 2026 г. в 16:57 UTCinvestigating

   We have found an issue with our priority rules for API interaction on server/edge in Composer. The dev team is currently investigating. Clients may find their list order being changed or unsorted without any user interaction. We will continue updating this incident once we identify the root cause.

2. 27 апреля 2026 г. в 18:37 UTCinvestigating

   Our team has restored the priority rules to their pre-incident state while we continue to investigate the root cause. We advise customers to avoid making changes to priority rules until the investigation is complete. We will provide further updates as more information becomes available.

3. 27 апреля 2026 г. в 22:01 UTCmonitoring

   The issue has been identified and mitigated; we will continue monitoring the remediation.

4. 28 апреля 2026 г. в 09:20 UTCresolved

   This incident has been resolved.

5. 28 апреля 2026 г. в 14:04 UTCpostmortem

   RCA report for the incident is available at [**this link**](https://docs.piano.io/wp-content/uploads/2026/04/2025-05-06-RCA-Experience-Priority-Data-Incident.pdf).