История сбоев Signalfx

1. 24 августа 2026 г. в 23:09 UTCinvestigating

   С 3:08 вечера PDT клиенты могут столкнуться с задержками при просмотре недавно созданной серии MetricTimeSeries. Проглатывание данных не затрагивается. Мы расследуем и вскоре предоставим обновленную информацию.

2. 25 августа 2026 г. в 00:20 UTCinvestigating

   Мы определили, что этот инцидент был ложной тревогой из-за ограничения ставки, применяемого к одному арендатору. Мы обратились к пострадавшему арендатору. Все остальные клиенты в пределах US0 не пострадали от этого инцидента.

3. 25 августа 2026 г. в 00:20 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 31 июля 2026 г. в 03:46 UTCinvestigating

   Ухудшение производительности конвейера обработки метрик Splunk APM приводит к снижению показателей мониторинга. Проглатывание данных отслеживания не подвергается воздействию, но затрагиваются панели управления обслуживанием, конечными точками и рабочими процессами, а также другие диаграммы и детекторы, построенные с помощью Мониторинговых МетрикСетов.

2. 31 июля 2026 г. в 04:07 UTCidentified

   Этот вопрос был определен, и в настоящее время осуществляется исправление.

3. 31 июля 2026 г. в 04:08 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

4. 31 июля 2026 г. в 04:32 UTCresolved

   Вопрос был решен.

Автоматический перевод официального обновления инцидента.

1. 24 июля 2026 г. в 15:59 UTCresolved

   Некоторые клиенты, возможно, столкнулись с задержками в оповещениях с 4 утра до 6 утра (PST), 24 июля 2026 года. Проглатывание данных не затрагивается. Вопрос восстановлен.

Автоматический перевод официального обновления инцидента.

1. 15 июля 2026 г. в 12:20 UTCinvestigating

   В настоящее время мы расследуем этот вопрос. Некоторые API-интерфейсы могут выходить из строя, а активные страницы оповещения загружаются медленно. Никакие данные не сбрасываются и не теряются.

2. 15 июля 2026 г. в 12:48 UTCidentified

   Вопрос был выявлен, и исправление осуществляется.

3. 15 июля 2026 г. в 14:57 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

4. 15 июля 2026 г. в 16:00 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 14 июля 2026 г. в 15:45 UTCinvestigating

   В настоящее время мы расследуем этот вопрос. Некоторые API-интерфейсы могут выходить из строя, а активные страницы оповещения загружаются медленно. Никакие данные не сбрасываются и не теряются.

2. 14 июля 2026 г. в 16:49 UTCidentified

   Воздействие на клиента началось около 7:00 утра по местному времени. Мы определили исправление, но полное восстановление может занять несколько часов

3. 14 июля 2026 г. в 17:52 UTCidentified

   Мы продолжаем работать над исправлением этого вопроса. Полное восстановление может занять несколько часов

4. 14 июля 2026 г. в 19:07 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты по мере восстановления отставания. Предупреждающие состояния и временные ряды событий в пользовательском интерфейсе могут быть отложены, пока отставание восстанавливается.

5. 14 июля 2026 г. в 19:44 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 10 июля 2026 г. в 12:03 UTCinvestigating

   Начиная с 1a PDT, небольшой процент детекторов, возможно, пропустил стрельбу. Никаких данных не было потеряно. Мы расследуем и вскоре предоставим обновленную информацию.

2. 10 июля 2026 г. в 12:05 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

3. 10 июля 2026 г. в 13:51 UTCmonitoring

   Мы продолжаем отслеживать любые дополнительные проблемы.

4. 10 июля 2026 г. в 14:52 UTCinvestigating

   Мы видим возвращение небольшого процента детекторов, которые могут не стрелять. Данные не теряются. Мы продолжаем расследование.

5. 10 июля 2026 г. в 19:02 UTCinvestigating

   Мы продолжаем исследовать проблему, затрагивающую небольшой процент детекторов в US0, которые, возможно, не сработали, как ожидалось. Потеря данных не наблюдалась. Наши инженерные команды активно изучают проблему, и мы предоставим еще одно обновление по мере поступления дополнительной информации.

6. 10 июля 2026 г. в 19:39 UTCidentified

   Было применено смягчение проблемы, затрагивающей небольшой процент детекторов в US0, которые, возможно, не работали, как ожидалось. Мы наблюдаем за продолжающимся восстановлением и следим за состоянием окружающей среды, чтобы обеспечить ее полную эффективность. Потеря данных не наблюдалась. Мы предоставим еще одно обновление после завершения восстановления.

7. 10 июля 2026 г. в 20:53 UTCidentified

   Мы наблюдаем за продолжающимся восстановлением и следим за состоянием окружающей среды, чтобы обеспечить ее полную эффективность. Потеря данных не наблюдалась. Мы предоставим еще одно обновление после завершения восстановления.

8. 11 июля 2026 г. в 00:16 UTCmonitoring

   Мы наблюдаем за продолжающимся восстановлением и следим за состоянием окружающей среды, чтобы обеспечить ее полную эффективность. Потеря данных не наблюдалась. Мы предоставим еще одно обновление после завершения восстановления.

9. 11 июля 2026 г. в 02:15 UTCidentified

   Мы применили смягчения, которые уменьшили воздействие, но восстановление еще не завершено. Небольшой процент детекторов в US0 все еще может не работать, как ожидалось, из-за задержки обработки. Потеря данных не наблюдалась. Инженерные команды продолжают исследовать дополнительные меры по смягчению последствий. Мы предоставим еще одно обновление по мере поступления дополнительной информации.

10. 11 июля 2026 г. в 03:03 UTCidentified

    Недавно созданные временные ряды в US0 могут занимать до 10 минут для включения в детекторы, что может задержать оценку детекторов для этих новых временных рядов. В настоящее время время задержки уведомления является здоровым, и потери данных не наблюдалось. Инженерные команды продолжают работу по смягчению последствий и проверяют, устраняет ли он оставшиеся задержки. Мы предоставим еще одно обновление после завершения проверки.

11. 11 июля 2026 г. в 15:05 UTCidentified

    Мы продолжаем исследовать отсроченное включение вновь созданных временных рядов в детекторы в US0. Новые временные ряды могут занимать до 10 минут для включения в детекторы, что может задержать оценку детекторов для этих временных рядов. Время задержки уведомления остается здоровым, и потери данных не наблюдалось. Инженерные команды выполняют контролируемое развертывание затронутых внутренних компонентов в рамках текущей работы по смягчению последствий, и ожидается, что это не приведет к дополнительному воздействию на клиентов. Мы предоставим еще одно обновление по мере продвижения проверки.

12. 11 июля 2026 г. в 18:09 UTCresolved

    Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 9 июля 2026 г. в 02:36 UTCresolved

   Между 4:45p и 6:45p PDT был снижен очень небольшой процент метрических данных. Этот вопрос решен.

Автоматический перевод официального обновления инцидента.

1. 8 июля 2026 г. в 21:47 UTCinvestigating

   Начиная с 11:30 PDT, глотание точек данных нарушается, и мы теряем небольшой процент точек данных. Мы расследуем и предоставим обновленную информацию по мере продвижения вперед.

2. 8 июля 2026 г. в 22:35 UTCinvestigating

   Мы продолжаем исследовать проблему, затрагивающую небольшой процент точек данных, поступающих в US0. Наши инженерные команды активно работают над этим вопросом и оценивают возможные меры по смягчению последствий. Мы предоставим еще одно обновление по мере поступления дополнительной информации.

3. 8 июля 2026 г. в 23:29 UTCinvestigating

   Мы продолжаем исследовать проблему, затрагивающую небольшой процент точек данных, поступающих в US0. Наши инженерные команды активно работают над этим вопросом. Мы предоставим еще одно обновление по мере поступления дополнительной информации.

4. 8 июля 2026 г. в 23:33 UTCmonitoring

   Мы наблюдали улучшение восприятия точек данных в US0, и скорость падения точек данных вернулась к ожидаемым уровням. Мы продолжаем внимательно следить за сервисом, чтобы обеспечить стабильность. Мы предоставим еще одно обновление после завершения мониторинга или при наличии дополнительных проблем.

5. 8 июля 2026 г. в 23:52 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 8 июля 2026 г. в 14:21 UTCinvestigating

   Начиная с 6:48a PDT, тесты Synthetic не могут быть просмотрены в пользовательском интерфейсе. Испытания продолжаются, детекторы продолжают работать. Мы изучаем проблему и будем отправлять обновления по мере продвижения вперед.

2. 8 июля 2026 г. в 14:43 UTCinvestigating

   Пользовательский интерфейс APM Profiling также недоступен в настоящее время из-за той же проблемы. Мы продолжаем расследование и будем предоставлять обновления по мере продвижения вперед.

3. 8 июля 2026 г. в 15:05 UTCinvestigating

   Данные, видимые в пользовательском интерфейсе APM Profiling, испытывают задержки. Splunk Synthetics Monitoring работает. Мы продолжаем расследование и будем предоставлять обновления по мере продвижения вперед.

4. 8 июля 2026 г. в 15:33 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 8 июля 2026 г. в 10:51 UTCresolved

   Между 1a PDT и 2:50a PDT любая интеграция GCP, которая включала настройку «Синхронизация всех (динамически) перечисленных проектов», приводила к снижению некоторых данных облачного мониторинга от GCP. Этот вопрос решен. Клиенты могут видеть пробелы в графиках и детекторах, которые используют показатели облачного мониторинга GCP. Метрики AWS CloudWatch и Azure Monitor не затронуты.

Автоматический перевод официального обновления инцидента.

1. 3 июля 2026 г. в 00:47 UTCinvestigating

   Мы расследуем серьезное нарушение обслуживания, затрагивающее поиск следов Splunk APM и функцию Splunk RUM Session Details. Клиенты могут быть не в состоянии искать или просматривать следы и могут быть не в состоянии загрузить детали сеанса. В это время данные не влияют. Мы предоставим обновление как можно скорее.

2. 3 июля 2026 г. в 01:53 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 3 июля 2026 г. в 02:04 UTCidentified

   Этот вопрос был определен, и в настоящее время осуществляется исправление.

4. 3 июля 2026 г. в 02:47 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 2 июля 2026 г. в 20:55 UTCinvestigating

   Клиенты могут испытывать задержки в некоторых детекторах. Проглатывание данных не затрагивается. Мы расследуем и вскоре предоставим обновленную информацию.

2. 2 июля 2026 г. в 21:36 UTCidentified

   Мы определили источник проблемы и приняли меры по смягчению последствий. Восстановление продолжается, и мы наблюдаем постепенное улучшение. Наши команды продолжают исследовать основную причину, контролируя восстановление. Мы предоставим еще одно обновление по мере поступления дополнительной информации.

3. 2 июля 2026 г. в 22:35 UTCresolved

   Проблема задержки некоторых детекторов решена. Системы восстановились, а обработка детекторов вернулась к ожидаемым уровням. Спасибо за ваше терпение, пока мы работали над решением этой проблемы.

Автоматический перевод официального обновления инцидента.

1. 2 июля 2026 г. в 19:21 UTCinvestigating

   Ухудшение производительности конвейера обработки метрик Splunk APM приводит к задержке Мониторинга более чем на пять минут. Проглатывание данных отслеживания не подвергается воздействию, но затрагиваются панели управления обслуживанием, конечными точками и рабочими процессами, а также другие диаграммы и детекторы, построенные с помощью Мониторинговых МетрикСетов.

2. 2 июля 2026 г. в 20:16 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 2 июля 2026 г. в 20:44 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

4. 2 июля 2026 г. в 21:31 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 1 июля 2026 г. в 14:18 UTCresolved

   Мы подтвердили, что вопрос, затрагивающий Tag Spotlight, решен. Клиенты, возможно, испытали ограниченную функциональность в Tag Spotlight, начиная примерно с 4:30 вечера 30 июня. Полный функционал был восстановлен в 7:20 утра 1 июля.

Автоматический перевод официального обновления инцидента.

1. 26 июня 2026 г. в 07:36 UTCresolved

   Из-за регрессии в недавнем релизе пользователи, перемещающиеся из контента, связанного с журналами, на странице APM TraceView в Log Observer, были перенаправлены обратно в APM TraceView. Это повлияло на опыт взаимодействия с журналами для клиентов во всех сферах, за исключением US3 и Gov. Изменения были отменены, чтобы восстановить ожидаемый опыт навигации. Доступность продукта для APM и Log Observer не была затронута; проблема была ограничена рабочим процессом корреляции журналов от TraceView. Время начала инцидента: 05:09 PDT, 25 июня 2026 Время окончания инцидента: 22:15 PDT, 25 июня 2026

Автоматический перевод официального обновления инцидента.

1. 17 июня 2026 г. в 15:37 UTCinvestigating

   We are investigating why Trace Lookups are failing for traces created between approximately 5:30am PT - 7:30am PT. Monitoring MetricSets and Troubleshooting MetricSets are not impacted. Metrics are still available. We are investigating the issue.

2. 17 июня 2026 г. в 16:43 UTCinvestigating

   We are still investigating the issue.

3. 17 июня 2026 г. в 17:56 UTCinvestigating

   We are continuing to investigate this issue.

4. 17 июня 2026 г. в 18:35 UTCidentified

   The issue affecting Trace Lookup searchability for traces generated between approximately 5:30 AM and 7:30 AM PT on June 17 has been identified. This occurred during an approved maintenance window associated with repartitioning and scaling activities. Customers may be unable to search for traces generated during this timeframe. Trace ingestion and processing are operating normally, and traces generated outside of the affected window remain searchable. Our team has developed a fix and is currently validating it through internal testing. We expect validation to complete within approximately two hours and will provide another update once the fix is ready for deployment or as additional information becomes available.

5. 17 июня 2026 г. в 20:07 UTCidentified

   We continue to make progress toward resolution. The fix is currently moving through the implementation process and will be rolled out once all deployment steps have been completed. We will provide another update as progress continues.

6. 17 июня 2026 г. в 21:09 UTCresolved

   The fix has been successfully deployed, and we have confirmed that the issue affecting Trace Lookup searchability for traces generated between approximately 5:30 AM and 7:30 AM PT on June 17 has been resolved. Customers should now be able to search affected traces as expected.

1. 17 июня 2026 г. в 15:07 UTCmonitoring

   The Scheduled Maintenance for US0 Splunk APM Span Firehose Optimization has been extended while we continue to monitor the improvements.

2. 17 июня 2026 г. в 15:33 UTCresolved

   We have completed our Scheduled Maintenance window. Thanks for your patience.

1. 15 июня 2026 г. в 17:53 UTCinvestigating

   A degradation in the performance of the Splunk APM trace processing pipeline is causing Troubleshooting MetricSets and Monitoring MetricSets to be delayed by more than five minutes. As a result, the APM Troubleshooting experience, service maps and Tag Spotlight do not have access to the most recent data. The processing of metrics for Business Workflows, which also depends on this pipeline, are equally delayed. Trace data ingest is not impacted at this time.

2. 15 июня 2026 г. в 18:37 UTCinvestigating

   Efforts to address the pipeline performance degradation are ongoing.

3. 15 июня 2026 г. в 19:07 UTCinvestigating

   We are continuing to work on the performance degradation affecting the Splunk APM trace processing pipeline. Our teams are actively working to restore normal service, and we will provide further updates as more information becomes available.

4. 15 июня 2026 г. в 19:40 UTCinvestigating

   There is no change in status. Our teams continue to work on resolving the performance degradation in the Splunk APM trace processing pipeline. Delays of over five minutes in Troubleshooting and Monitoring MetricSets persist. We will provide further updates as soon as more information is available.

5. 15 июня 2026 г. в 20:16 UTCidentified

   We have identified the root cause of the performance degradation in the Splunk APM trace processing pipeline. Our engineering teams are currently planning the most efficient approach to implement a fix and restore normal service functionality. We will provide further updates as we move into the implementation phase.

6. 15 июня 2026 г. в 20:48 UTCidentified

   Our teams are continuing to finalize the implementation plan for the fix to address the performance degradation in the Splunk APM trace processing pipeline. We will provide further updates as we move into the implementation phase.

7. 15 июня 2026 г. в 21:20 UTCidentified

   There is no change in status to report. Our engineering teams are currently finalizing the remediation strategy to address the performance degradation within the Splunk APM trace processing pipeline. We are prioritizing a stable resolution.

8. 15 июня 2026 г. в 21:53 UTCidentified

   Our engineering teams are working diligently to ensure the proposed fix for the Splunk APM trace processing pipeline is executed effectively to restore normal service.

9. 15 июня 2026 г. в 23:04 UTCidentified

   Efforts to improve the pipeline performance, including monitoring metrics pipeline management capabilities such as aggregation, filtering, and archiving, are ongoing.

10. 15 июня 2026 г. в 23:35 UTCidentified

    We are continuing to work on a fix for this issue.

11. 16 июня 2026 г. в 00:12 UTCresolved

    This incident has been resolved as latency has dropped to a normal threshold.

1. 12 июня 2026 г. в 20:29 UTCinvestigating

   A degradation in the performance of the Splunk APM trace processing pipeline is causing Troubleshooting MetricSets and Monitoring MetricSets to be delayed by more than five minutes. As a result, the APM Troubleshooting experience, service maps and Tag Spotlight do not have access to the most recent data and may fail or be slow to load. The processing of metrics for Business Workflows, which also depends on this pipeline, are equally delayed. Trace data ingest is not impacted at this time; service-level and endpoint-level Monitoring MetricSets and the detectors built from them are also not impacted.

2. 12 июня 2026 г. в 21:31 UTCinvestigating

   We are continuing to investigate this issue.

3. 12 июня 2026 г. в 22:17 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 12 июня 2026 г. в 23:25 UTCmonitoring

   We are continuing to monitor for any further issues.

5. 13 июня 2026 г. в 00:01 UTCresolved

   This incident has been resolved.

1. 11 июня 2026 г. в 18:55 UTCinvestigating

   Customers may be experiencing delays in some charts and detectors. Datapoint ingest is not affected. We are investigating and will provide an update shortly.

2. 11 июня 2026 г. в 19:52 UTCinvestigating

   Lagging continues and has caused some charts and dashboards to fail to load.

3. 11 июня 2026 г. в 20:39 UTCinvestigating

   We have scaled up to reduce lag but are are still investigating the root cause.

4. 11 июня 2026 г. в 21:05 UTCinvestigating

   A degradation in the performance of the Splunk APM metrics processing pipeline is causing Monitoring MetricSets and Troubleshooting MetricSets to be delayed by more than five minutes. Trace data ingest is not impacted, but service, endpoint and workflow dashboards, and other charts and detectors built from Monitoring MetricSets are impacted.

5. 11 июня 2026 г. в 22:09 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

6. 11 июня 2026 г. в 22:32 UTCresolved

   This incident has been resolved.