61 Signalfx Us1 incidents · май 2025 г. — official updates, affected components, duration and resolution details.
Мы расследуем серьезное отключение Splunk Observability AI Assistant.
Проблема была идентифицирована как отключение Azure OpenAI, и мы продолжаем работу.
Реализовано исправление, и мы отслеживаем результаты.
Этап мониторинга завершен. Вопрос решен.
Автоматический перевод официального обновления инцидента.
С 08/25/2026, 11:38AM PDT, ухудшение производительности трубопровода обработки следов Splunk APM вызывает задержку устранения неполадок MetricSets более чем на пять минут. В результате опыт устранения неполадок APM, сервисные карты и Tag Spotlight не имеют доступа к самым последним данным. Обработка показателей для бизнес-процессов, которая также зависит от этого трубопровода, также задерживается. В настоящее время данные отслеживания не подвергаются воздействию; метрики мониторинга уровня обслуживания и конечных точек и детекторы, построенные из них, также не подвергаются воздействию.
Мы продолжаем расследование этого вопроса.
Этот вопрос был определен, и в настоящее время осуществляется исправление.
Реализовано исправление, и мы отслеживаем результаты.
Наши команды продолжают следить за ситуацией, чтобы обеспечить полное восстановление.
Этот инцидент был урегулирован.
Автоматический перевод официального обновления инцидента.
Проблемы с обработкой оповещений, которые приводят к задержке уведомлений. В настоящее время мы расследуем этот вопрос.
В настоящее время мы расследуем повышенную задержку уведомления. Клиенты могут испытывать задержки в получении оповещений. Мы активно работаем над решением этой проблемы и будем предоставлять обновления по мере продвижения вперед. Мы ценим ваше терпение.
Мы определили и активно решаем вопрос, вызывающий задержку оповещения. Это исправление было реализовано и уже демонстрирует значительное улучшение сроков доставки уведомлений. В то время как некоторые уведомления, которые были поставлены в очередь до нашего исправления, могут по-прежнему испытывать небольшие задержки по мере того, как система догоняет, новые уведомления доставляются обычно. Мы ценим ваше терпение и продолжим внимательно следить за ситуацией.
Мы активно работаем над решением вопроса. Клиенты могут продолжать испытывать задержки в доставке уведомлений. Это включает в себя вновь созданные уведомления, которые обрабатываются за более ранними событиями в очереди. Команда активно изучает первопричину и работает над устранением отставания в уведомлениях о очереди. В качестве временной меры по смягчению последствий мы отключили предварительные просмотры изображений в уведомлениях для повышения скорости обработки. Уведомления пока будут только текстовыми. Мы ценим ваше терпение и предоставим дальнейшие обновления по мере продвижения вперед.
Мы внедрили исправление для устранения задержек уведомления. Наш мониторинг показывает значительное улучшение сроков доставки уведомлений, и мы внимательно отслеживаем производительность, чтобы обеспечить полное решение проблемы. Спасибо за ваше терпение, поскольку мы работаем над восстановлением полного сервиса.
Задержки с доставкой уведомлений полностью устранены. Все уведомления в очереди были обработаны, и система теперь работает нормально.
Автоматический перевод официального обновления инцидента.
Ухудшение производительности конвейера обработки метрик Splunk APM приводит к задержке Мониторинга более чем на пять минут. Проглатывание данных отслеживания не подвергается воздействию, но затрагиваются панели управления обслуживанием, конечными точками и рабочими процессами, а также другие диаграммы и детекторы, построенные с помощью Мониторинговых МетрикСетов.
Мы продолжаем расследование этого вопроса.
Мы продолжаем расследование этого вопроса.
Этот вопрос был определен, и в настоящее время осуществляется исправление.
Реализовано исправление, и мы отслеживаем результаты.
Этот инцидент был урегулирован.
Автоматический перевод официального обновления инцидента.
Показатель пропускания данных для новых или реактивированных метрических временных рядов был затронут между 2:28 PM PST и 2:47 PM PST. В течение этого периода произошла частичная потеря данных для новых метрических временных рядов. Сейчас эта ситуация восстановлена.
Автоматический перевод официального обновления инцидента.
Проглатывание Datapoint для новых метрических временных рядов было затронуто между 10:37 AM PST и 10:39 AM PST. В течение этого периода произошла частичная потеря данных для новых метрических временных рядов. Сейчас эта ситуация восстановлена.
Автоматический перевод официального обновления инцидента.
Начиная с 4a PT, мы расследуем серьезное отключение веб-приложения Splunk Observability Cloud. В это время данные не влияют. Мы предоставим обновление как можно скорее.
Мы продолжаем расследование этого вопроса.
Реализовано исправление, и мы отслеживаем результаты.
Этот инцидент был урегулирован. Обратите внимание, что во время этого инцидента также был затронут API Splunk Observability Cloud.
Автоматический перевод официального обновления инцидента.
Между 1a PDT и 2:50a PDT любая интеграция GCP, которая включала настройку «Синхронизация всех (динамически) перечисленных проектов», приводила к снижению некоторых данных облачного мониторинга от GCP. Этот вопрос решен. Клиенты могут видеть пробелы в графиках и детекторах, которые используют показатели облачного мониторинга GCP. Метрики AWS CloudWatch и Azure Monitor не затронуты.
Автоматический перевод официального обновления инцидента.
Клиенты могут испытывать задержки при просмотре вновь созданных метрических временных рядов. Проглатывание Datapoint не влияет на существующие временные ряды. Мы расследуем и вскоре предоставим обновленную информацию.
Проблема, вызывающая задержки во вновь созданных метрических временных рядах, решена. Создание метрических временных рядов работает нормально. Проглатывание данных для существующих временных рядов не было затронуто.
Автоматический перевод официального обновления инцидента.
Мы подтвердили, что вопрос, затрагивающий Tag Spotlight, решен. Клиенты, возможно, испытали ограниченную функциональность в Tag Spotlight, начиная примерно с 4:30 вечера 30 июня. Полный функционал был восстановлен в 7:20 утра 1 июля.
Автоматический перевод официального обновления инцидента.
Из-за регрессии в недавнем релизе пользователи, перемещающиеся из контента, связанного с журналами, на странице APM TraceView в Log Observer, были перенаправлены обратно в APM TraceView. Это повлияло на опыт взаимодействия с журналами для клиентов во всех сферах, за исключением US3 и Gov. Изменения были отменены, чтобы восстановить ожидаемый опыт навигации. Доступность продукта для APM и Log Observer не была затронута; проблема была ограничена рабочим процессом корреляции журналов от TraceView. Время начала инцидента: 05:09 PDT, 25 июня 2026 Время окончания инцидента: 22:15 PDT, 25 июня 2026
Автоматический перевод официального обновления инцидента.
Rum API Endpoints were not available for one of our IPs, resulting in degraded service or a partial outage at first, and possibly a complete outage towards the end. This issue occurred from 4:22pm PST to 4:57pm PST
Datapoint ingest is affected , some datapoints could be dropped. Team is investigating and will provide an update shortly.
Our engineering team is currently implementing an impact mitigation configuration change. The internal investigation is still ongoing. We will share an additional update as soon as possible.
Our engineering team has completed impact mitigating configuration changes and confirmed services are recovered as of 4:55 PDT. We will continue monitoring and share an update as soon as possible.
Our engineering team has confirmed that all the services recovered as of 4:55 PM PDT and remained stable during monitoring. This incident is now resolved.
We are investigating delays in processing Splunk Observability Synthetic Monitoring test results for a small subset of customers. Tests are still running, but metrics may be delayed until the issue is resolved.
We have identified and remediated an issue affecting synthetic test result ingestion for a subset of customers. We apologize for any inconvenience this may have caused and thank you for your patience. Time range of impact: June 1 20:00 UTC - June 2 15:30 UTC
Charts for customers may not be loading. App and UI availability is also impacted. We are investigating and will provide an update shortly.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the status.
This Incident has been resolved.
A degradation of the Splunk O11y Cloud ingest path is causing ~20% of AWS CloudWatch metrics to be dropped. We are investigating the issue and will provide an update as soon as possible.
This incident has been resolved. We have since confirmed that only AWS CloudWatch metrics were impacted during this incident. Azure and GCP metrics were not impacted.
We are currently investigating this issue.
We are continuing to investigate this issue.
The issue has been identified and a fix is being implemented.
This incident has been resolved.
Charts for all customers may not be loading. Datapoint ingest is not affected. We are investigating and will provide an update shortly.
Our teams continue working to identify the cause and implement a fix.
Our investigation remains ongoing, and there is no change in status at this time. We are continuing to prioritize this issue and will provide the next update in thirty minutes.
Our teams are continuing their efforts to identify the root cause of this issue. There is no change in status to report at this time, but we are dedicating all necessary resources to reach a resolution. We will provide another update shortly.
Update (8:50 AM PST): We have observed that charts are now loading successfully. While service is recovering, our teams remain on-site to investigate the root cause and ensure full system stability. We will continue to monitor performance closely.
We are continuing to monitor the environment. There is no change in status at this time; our teams remain focused on resolving the remaining isolated issues.
Our teams are continuing to monitor the environment and are actively working to fully resolve the issue.
Update 10:30 PST: We are also investigating reports of login issues. Users may experience difficulty authenticating or accessing their accounts at this time.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
We are continuing to monitor the environment to ensure full remediation.
This incident has been resolved.
We are investigating an issue affecting Real User Monitoring (RUM) metrics across all realms. Customers may experience custom metric MTS quota limits being exceeded, resulting in metric data being dropped. RUM metric dimensions that were previously available may be missing.
The issue affecting Real User Monitoring (RUM) metrics has been identified. The fix is currently being implemented. We are actively working to restore full service and will provide further updates as progress continues.
We are continuing to work on the fix. We expect to have further updates within the next hour. We appreciate your patience as we work diligently to resolve this issue and restore full service.
We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We are thoroughly validating the mitigation to ensure it resolves the issue effectively and maintains system stability. We appreciate your ongoing patience and will provide further updates as testing progresses.
We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We will share an update once we have further information.
The outage impacting RUM MMS Data Drop has been resolved after internal engineering teams deployed a fix. All systems are operational and stable. Thank you for your patience and understanding.
We are currently investigating an issue where RUM (Real User Monitoring) MMS data is being dropped, which may result in missing or incomplete data in charts and dashboards related to real user monitoring. We are actively investigating and will provide updates as the situation develops.
We have identified the cause of the issue resulting in missing or incomplete data in Real User Monitoring charts and dashboards. We are implementing a fix and will provide an update within 15 minutes.
A solution to address the issue causing missing or incomplete data in Real User Monitoring (RUM) charts and dashboards is currently being implemented. Our teams are actively working on deploying the fix and will continue to provide updates as progress is made
We have identified an issue causing missing or incomplete data in Real User Monitoring (RUM) custom charts and dashboards across multiple realms. A fix is currently being rolled out and validated
A fix for the issue affecting Real User Monitoring (RUM) charts and dashboards has been deployed and is being actively monitored across all realms; customers may now see data restored in charts and dashboards
The issue affecting Real User Monitoring (RUM) custom charts and dashboards across multiple realms has been resolved. The fix has been deployed, and data is now flowing normally.