Störungsverlauf von Signalfx Us1

1. 28. August 2026 um 18:01 UTCinvestigating

   Wir untersuchen einen großen Ausfall des Splunk Observability AI Assistant.

2. 28. August 2026 um 18:20 UTCidentified

   Das Problem wurde als Azure OpenAI-Ausfall identifiziert und wir gehen mit einem Workaround fort.

3. 28. August 2026 um 18:25 UTCmonitoring

   Ein Fix wurde implementiert und wir überwachen die Ergebnisse.

4. 28. August 2026 um 19:26 UTCresolved

   Überwachungsphase abgeschlossen. Das Problem ist gelöst.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 25. August 2026 um 18:44 UTCinvestigating

   Ab dem 25.08.2026, 11:38 Uhr PDT, führt eine Verschlechterung der Leistung der Splunk APM-Trace-Processing-Pipeline dazu, dass sich die Fehlersuche um mehr als fünf Minuten verzögert. Infolgedessen haben die APM-Troubleshooting-Erfahrung, Service Maps und Tag Spotlight keinen Zugriff auf die neuesten Daten. Die Verarbeitung von Metriken für Business Workflows, die auch von dieser Pipeline abhängt, verzögert sich ebenfalls. Die Aufnahme von Spurendaten ist derzeit nicht betroffen; auch die Überwachungs-MetricSets auf Service- und Endpunktebene und die daraus gebauten Detektoren sind nicht betroffen.

2. 25. August 2026 um 19:21 UTCinvestigating

   Wir werden dieses Problem weiter untersuchen.

3. 25. August 2026 um 19:44 UTCidentified

   Das Problem wurde identifiziert und ein Fix wird implementiert.

4. 25. August 2026 um 20:02 UTCmonitoring

   Ein Fix wurde implementiert und wir überwachen die Ergebnisse.

5. 25. August 2026 um 20:25 UTCmonitoring

   Unsere Teams überwachen die Situation weiterhin, um eine vollständige Abhilfe zu gewährleisten.

6. 25. August 2026 um 21:07 UTCresolved

   Dieser Vorfall wurde behoben.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 1. August 2026 um 14:35 UTCinvestigating

   Probleme bei der Verarbeitung von Warnmeldungen, die zu verzögerten Benachrichtigungen führen. Wir untersuchen derzeit das Problem.

2. 1. August 2026 um 15:33 UTCinvestigating

   Wir untersuchen derzeit eine erhöhte Benachrichtigungslatenz. Kunden können Verzögerungen beim Empfang von Warnmeldungen auftreten. Wir arbeiten aktiv daran, dieses Problem zu lösen und werden Updates bereitstellen, wenn wir Fortschritte machen. Wir schätzen Ihre Geduld.

3. 1. August 2026 um 15:55 UTCidentified

   Wir haben das Problem identifiziert und lösen es aktiv, was zu verspäteten Warnmeldungen führt. Der Fix wurde implementiert und zeigt bereits eine deutliche Verbesserung der Benachrichtigungslieferzeiten. Während einige Benachrichtigungen, die vor unserem Fix in die Warteschlange gestellt wurden, immer noch geringfügige Verzögerungen aufweisen können, wenn das System aufholt, werden neue Benachrichtigungen normal geliefert. Wir schätzen Ihre Geduld und werden die Situation weiterhin genau beobachten.

4. 1. August 2026 um 17:09 UTCidentified

   Wir arbeiten aktiv an der Lösung des Problems. Kunden können weiterhin Verzögerungen bei der Benachrichtigungszustellung erleben. Dazu gehören neu generierte Benachrichtigungen, die hinter früheren Ereignissen in der Warteschlange verarbeitet werden. Das Team untersucht aktiv die Ursache und arbeitet daran, den Rückstand von Benachrichtigungen in der Warteschlange zu beseitigen. Als vorübergehende Minderungsmaßnahme haben wir Bildvorschauen in Benachrichtigungen deaktiviert, um die Verarbeitungsgeschwindigkeit zu verbessern. Benachrichtigungen werden vorerst nur text sein. Wir schätzen Ihre Geduld und werden weitere Updates bereitstellen, wenn Fortschritte gemacht werden.

5. 1. August 2026 um 17:31 UTCmonitoring

   Wir haben einen Fix implementiert, um die Benachrichtigungsverzögerungen zu beheben. Unsere Überwachung zeigt eine signifikante Verbesserung der Lieferzeiten für Benachrichtigungen und wir verfolgen die Leistung genau, um sicherzustellen, dass das Problem vollständig gelöst ist. Vielen Dank für Ihre Geduld, während wir daran arbeiten, den vollen Service wiederherzustellen.

6. 1. August 2026 um 18:21 UTCresolved

   Die Verzögerungen bei der Übermittlung der Benachrichtigung wurden vollständig behoben. Alle in der Warteschlange stehenden Benachrichtigungen wurden verarbeitet und das System funktioniert jetzt normal.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 31. Juli 2026 um 02:51 UTCinvestigating

   Eine Verschlechterung der Leistung der Splunk APM-Metrikenverarbeitungspipeline führt dazu, dass Monitoring MetricSets um mehr als fünf Minuten verzögert werden. Die Aufnahme von Spurendaten ist nicht betroffen, aber Service-, Endpunkt- und Workflow-Dashboards sowie andere Diagramme und Detektoren, die aus Monitoring MetricSets erstellt wurden, sind betroffen.

2. 31. Juli 2026 um 02:54 UTCinvestigating

   Wir untersuchen das Problem weiter.

3. 31. Juli 2026 um 03:44 UTCinvestigating

   Wir werden dieses Problem weiter untersuchen.

4. 31. Juli 2026 um 04:07 UTCidentified

   Das Problem wurde identifiziert und ein Fix wird implementiert.

5. 31. Juli 2026 um 04:08 UTCmonitoring

   Ein Fix wurde implementiert und wir überwachen die Ergebnisse.

6. 31. Juli 2026 um 04:33 UTCresolved

   Dieser Vorfall wurde behoben.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 24. Juli 2026 um 21:54 UTCresolved

   Die Datenpunktaufnahme für neue oder reaktivierte metrische Zeitreihen wurde zwischen 2:28 Uhr PST und 2:47 Uhr PST beeinflusst. Es gab teilweise Datenverlust für neue metrische Zeitreihen während dieses Zeitraums. Diese Situation ist nun wiederhergestellt.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 22. Juli 2026 um 18:02 UTCresolved

   Die Datenpunktaufnahme für neue metrische Zeitreihen war zwischen 10:37 Uhr PST und 10:39 Uhr PST betroffen. Es gab teilweise Datenverlust für neue metrische Zeitreihen während dieses Zeitraums. Diese Situation ist nun wiederhergestellt.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 14. Juli 2026 um 11:25 UTCinvestigating

   Ab 4a PT untersuchen wir einen großen Ausfall der Splunk Observability Cloud-Webanwendung. Die Datenaufnahme ist derzeit nicht betroffen. Wir werden so schnell wie möglich ein Update bereitstellen.

2. 14. Juli 2026 um 12:13 UTCinvestigating

   Wir untersuchen das Problem weiter.

3. 14. Juli 2026 um 12:28 UTCmonitoring

   Ein Fix wurde implementiert und wir überwachen die Ergebnisse.

4. 14. Juli 2026 um 12:38 UTCresolved

   Dieser Vorfall wurde behoben. Bitte beachten Sie, dass die Splunk Observability Cloud API auch bei diesem Vorfall betroffen war.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 8. Juli 2026 um 10:52 UTCresolved

   Zwischen 1a PDT und 2:50a PDT wurden bei jeder GCP-Integration, bei der die Einstellung "Alle (dynamisch) aufgeführten Projekte synchronisieren" aktiviert war, einige der Cloud-Monitoring-Daten von GCP gelöscht. Dieses Problem ist gelöst. Kunden können Lücken in Diagrammen und Detektoren sehen, die betroffene GCP Cloud Monitoring-Metriken verwenden. Die Metriken AWS CloudWatch und Azure Monitor sind nicht betroffen.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 4. Juli 2026 um 17:07 UTCinvestigating

   Kunden können Verzögerungen beim Sehen neu erstellter metrischer Zeitreihen feststellen. Datapoint Ingest ist für bestehende Zeitreihen nicht betroffen. Wir untersuchen und werden in Kürze ein Update bereitstellen.

2. 4. Juli 2026 um 18:39 UTCresolved

   Das Problem, das Verzögerungen in neu erstellten metrischen Zeitreihen verursacht, wurde behoben. Die Erstellung metrischer Zeitreihen funktioniert normal. Die Datenpunktaufnahme für bestehende Zeitreihen war nicht betroffen.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 1. Juli 2026 um 15:08 UTCresolved

   Wir haben bestätigt, dass das Problem mit Tag Spotlight behoben wurde. Kunden haben möglicherweise eine eingeschränkte Funktionalität innerhalb von Tag Spotlight, die am 30. Juni um ca. 16:30 Uhr PT beginnt. Die volle Funktionalität wurde am 1. Juli um 7:20 Uhr PT wiederhergestellt.

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 26. Juni 2026 um 07:37 UTCresolved

   Aufgrund einer Regression in einer kürzlich veröffentlichten Version wurden Benutzer, die von Logs Related Content auf der APM TraceView-Seite zu Log Observer navigieren, stattdessen zu APM TraceView umgeleitet. Dies beeinflusste die Logs Correlation-Erfahrung für Kunden in allen Bereichen, außer US3 und Gov. Die Änderung wurde rückgängig gemacht, um das erwartete Navigationserlebnis wiederherzustellen. Die Produktverfügbarkeit für APM und Log Observer war nicht betroffen; das Problem war auf den Logs Correlation Workflow von TraceView beschränkt. Incident Startzeit: 05:09 PDT, 25. Juni 2026 Incident End Time: 22:15 PDT, 25. Juni 2026

Automatisch aus der offiziellen Störungsmeldung übersetzt.

1. 12. Juni 2026 um 00:03 UTCresolved

   Rum API Endpoints were not available for one of our IPs, resulting in degraded service or a partial outage at first, and possibly a complete outage towards the end. This issue occurred from 4:22pm PST to 4:57pm PST

1. 3. Juni 2026 um 22:49 UTCinvestigating

   Datapoint ingest is affected , some datapoints could be dropped. Team is investigating and will provide an update shortly.

2. 3. Juni 2026 um 23:25 UTCinvestigating

   Our engineering team is currently implementing an impact mitigation configuration change. The internal investigation is still ongoing. We will share an additional update as soon as possible.

3. 4. Juni 2026 um 00:05 UTCmonitoring

   Our engineering team has completed impact mitigating configuration changes and confirmed services are recovered as of 4:55 PDT. We will continue monitoring and share an update as soon as possible.

4. 4. Juni 2026 um 01:08 UTCresolved

   Our engineering team has confirmed that all the services recovered as of 4:55 PM PDT and remained stable during monitoring. This incident is now resolved.

1. 2. Juni 2026 um 12:50 UTCinvestigating

   We are investigating delays in processing Splunk Observability Synthetic Monitoring test results for a small subset of customers. Tests are still running, but metrics may be delayed until the issue is resolved.

2. 2. Juni 2026 um 16:51 UTCresolved

   We have identified and remediated an issue affecting synthetic test result ingestion for a subset of customers. We apologize for any inconvenience this may have caused and thank you for your patience. Time range of impact: June 1 20:00 UTC - June 2 15:30 UTC

1. 29. Mai 2026 um 05:40 UTCinvestigating

   Charts for customers may not be loading. App and UI availability is also impacted. We are investigating and will provide an update shortly.

2. 29. Mai 2026 um 05:43 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 29. Mai 2026 um 05:56 UTCmonitoring

   A fix has been implemented and we are monitoring the status.

4. 29. Mai 2026 um 06:06 UTCresolved

   This Incident has been resolved.

1. 12. Mai 2026 um 10:38 UTCinvestigating

   A degradation of the Splunk O11y Cloud ingest path is causing ~20% of AWS CloudWatch metrics to be dropped. We are investigating the issue and will provide an update as soon as possible.

2. 12. Mai 2026 um 15:44 UTCresolved

   This incident has been resolved. We have since confirmed that only AWS CloudWatch metrics were impacted during this incident. Azure and GCP metrics were not impacted.

1. 8. Mai 2026 um 04:21 UTCinvestigating

   We are currently investigating this issue.

2. 8. Mai 2026 um 04:22 UTCinvestigating

   We are continuing to investigate this issue.

3. 8. Mai 2026 um 05:46 UTCidentified

   The issue has been identified and a fix is being implemented.

4. 8. Mai 2026 um 05:46 UTCresolved

   This incident has been resolved.

1. 6. Mai 2026 um 14:44 UTCinvestigating

   Charts for all customers may not be loading. Datapoint ingest is not affected. We are investigating and will provide an update shortly.

2. 6. Mai 2026 um 15:07 UTCinvestigating

   Our teams continue working to identify the cause and implement a fix.

3. 6. Mai 2026 um 15:36 UTCinvestigating

   Our investigation remains ongoing, and there is no change in status at this time. We are continuing to prioritize this issue and will provide the next update in thirty minutes.

4. 6. Mai 2026 um 16:14 UTCinvestigating

   Our teams are continuing their efforts to identify the root cause of this issue. There is no change in status to report at this time, but we are dedicating all necessary resources to reach a resolution. We will provide another update shortly.

5. 6. Mai 2026 um 16:31 UTCinvestigating

   Update (8:50 AM PST): We have observed that charts are now loading successfully. While service is recovering, our teams remain on-site to investigate the root cause and ensure full system stability. We will continue to monitor performance closely.

6. 6. Mai 2026 um 17:02 UTCinvestigating

   We are continuing to monitor the environment. There is no change in status at this time; our teams remain focused on resolving the remaining isolated issues.

7. 6. Mai 2026 um 17:31 UTCinvestigating

   Our teams are continuing to monitor the environment and are actively working to fully resolve the issue.

8. 6. Mai 2026 um 17:44 UTCinvestigating

   Update 10:30 PST: We are also investigating reports of login issues. Users may experience difficulty authenticating or accessing their accounts at this time.

9. 6. Mai 2026 um 17:58 UTCidentified

   The issue has been identified and a fix is being implemented.

10. 6. Mai 2026 um 18:13 UTCmonitoring

    A fix has been implemented and we are monitoring the results.

11. 6. Mai 2026 um 19:08 UTCmonitoring

    We are continuing to monitor the environment to ensure full remediation.

12. 6. Mai 2026 um 19:25 UTCresolved

    This incident has been resolved.

1. 25. April 2026 um 17:01 UTCinvestigating

   We are investigating an issue affecting Real User Monitoring (RUM) metrics across all realms. Customers may experience custom metric MTS quota limits being exceeded, resulting in metric data being dropped. RUM metric dimensions that were previously available may be missing.

2. 25. April 2026 um 17:02 UTCidentified

   The issue affecting Real User Monitoring (RUM) metrics  has been identified. The fix is currently being implemented. We are actively working to restore full service and will provide further updates as progress continues.

3. 25. April 2026 um 18:37 UTCidentified

   We are continuing to work on the fix. We expect to have further updates within the next hour. We appreciate your patience as we work diligently to resolve this issue and restore full service.

4. 25. April 2026 um 22:26 UTCidentified

   We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We are thoroughly validating the mitigation to ensure it resolves the issue effectively and maintains system stability. We appreciate your ongoing patience and will provide further updates as testing progresses.

5. 25. April 2026 um 23:48 UTCidentified

   We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We will share an update once we have further information.

6. 26. April 2026 um 00:55 UTCresolved

   The outage impacting RUM MMS Data Drop has been resolved after internal engineering teams deployed a fix. All systems are operational and stable. Thank you for your patience and understanding.

1. 25. April 2026 um 01:03 UTCinvestigating

   We are currently investigating an issue where RUM (Real User Monitoring) MMS data is being dropped, which may result in missing or incomplete data in charts and dashboards related to real user monitoring. We are actively investigating and will provide updates as the situation develops.

2. 25. April 2026 um 01:22 UTCidentified

   We have identified the cause of the issue resulting in missing or incomplete data in Real User Monitoring charts and dashboards. We are implementing a fix and will provide an update within 15 minutes.

3. 25. April 2026 um 02:02 UTCidentified

   A solution to address the issue causing missing or incomplete data in Real User Monitoring (RUM) charts and dashboards is currently being implemented. Our teams are actively working on deploying the fix and will continue to provide updates as progress is made

4. 25. April 2026 um 02:33 UTCidentified

   We have identified an issue causing missing or incomplete data in Real User Monitoring (RUM) custom charts and dashboards across multiple realms. A fix is currently being rolled out and validated

5. 25. April 2026 um 02:55 UTCmonitoring

   A fix for the issue affecting Real User Monitoring (RUM) charts and dashboards has been deployed and is being actively monitored across all realms; customers may now see data restored in charts and dashboards

6. 25. April 2026 um 03:13 UTCresolved

   The issue affecting Real User Monitoring (RUM) custom charts and dashboards across multiple realms has been resolved. The fix has been deployed, and data is now flowing normally.