61 Signalfx Us1 incidents · maj 2025 — official updates, affected components, duration and resolution details.
Vi efterforsker et stort udbrud af Splunk Observability AI Assistent.
Problemet er blevet identificeret som en Azure OpenAI afbrydelse, og vi fortsætter med en workout.
Et fix er blevet gennemført, og vi overvåger resultaterne.
Overvågningsfasen er afsluttet. Spørgsmålet er løst.
Automatisk oversat fra den officielle hændelsesopdatering.
Fra 08 / 25 / 2026, 11: 38AM PDT, en forringelse i udførelsen af Splunk APM trace processing pipeline er årsag til fejlfinding MetricSets at blive forsinket med mere end fem minutter. Som et resultat, har APM fejlfinding oplevelse, service kort og Tag Spotlight ikke adgang til de nyeste data. Behandlingen af målinger for arbejdsgange i erhvervslivet, som også afhænger af denne rørledning, er ligeledes forsinket. Spordata er ikke påvirket på dette tidspunkt; service-niveau og endpointniveau Overvågning MetricSets og detektorer bygget fra dem er heller ikke påvirket.
Vi fortsætter med at undersøge dette spørgsmål.
Spørgsmålet er blevet identificeret, og et fix er ved at blive gennemført.
Et fix er blevet gennemført, og vi overvåger resultaterne.
Vores hold fortsætter med at overvåge situationen for at sikre fuld oprydning.
Denne hændelse er blevet løst.
Automatisk oversat fra den officielle hændelsesopdatering.
Problemer med behandling af indberetninger, der fører til forsinkede meddelelser. Vi undersøger i øjeblikket spørgsmålet.
Vi er ved at undersøge forhøjet melding latency. Kunderne kan opleve forsinkelser i modtagelse af alarmmeddelelser. Vi arbejder aktivt på at løse dette problem og vil levere opdateringer, når vi gør fremskridt. Vi sætter pris på din tålmodighed.
Vi har identificeret og er aktivt i færd med at løse problemet med forsinkede varslingsmeddelelser. Løsningen er blevet gennemført og viser allerede betydelige forbedringer i anmeldelsesleveringstiden. Mens nogle meddelelser, der var i kø før vores fix kan stadig opleve mindre forsinkelser, som systemet indhenter, nye meddelelser bliver leveret normalt. Vi værdsætter Deres tålmodighed og vil fortsat overvåge situationen nøje.
Vi arbejder aktivt på at løse problemet. Kunderne kan fortsætte med at opleve forsinkelser i anmeldelsen levering. Dette omfatter nye meddelelser, som behandles bag tidligere begivenheder i køen. Team er aktivt undersøge den grundlæggende årsag og arbejder på at rydde backlog af in-kø meddelelser. Som en midlertidig afbødende foranstaltning har vi deaktiveret billedforhåndsvisning i meddelelser for at forbedre behandlingshastigheden. Anmeldelser vil være tekst- kun for nu. Vi sætter pris på din tålmodighed og vil give yderligere opdateringer, når der gøres fremskridt.
Vi har implementeret et fix for at løse anmeldelsesforsinkelser. Vores overvågning viser en betydelig forbedring i anmeldelsesleveringstiden, og vi følger nøje resultaterne for at sikre, at problemet løses fuldt ud. Tak for din tålmodighed, mens vi arbejder på at genoprette fuld service.
Forsinkelserne i forbindelse med fremsendelse af meddelelser er blevet løst fuldt ud. Alle meddelelser i kø er blevet behandlet, og systemet fungerer nu normalt.
Automatisk oversat fra den officielle hændelsesopdatering.
En forringelse i ydeevnen af Splunk APM-rør til behandling af målinger medfører, at Monitoring MetricSets forsinkes med mere end fem minutter. Spor data ingest er ikke påvirket, men service, endpoint og workflow dashboards, og andre diagrammer og detektorer bygget fra Overvågning MetricSets er påvirket.
Vi fortsætter med at undersøge problemet.
Vi fortsætter med at undersøge dette spørgsmål.
Spørgsmålet er blevet identificeret, og et fix er ved at blive gennemført.
Et fix er blevet gennemført, og vi overvåger resultaterne.
Denne hændelse er blevet løst.
Automatisk oversat fra den officielle hændelsesopdatering.
Datapunkt indtager for nye eller reaktiveret metriske tidsserier blev påvirket mellem 2: 28 PM PST til 2: 47 PM PST. Der var delvist tab af data for nye metriske tidsserier i denne periode. Denne situation er nu genvundet.
Automatisk oversat fra den officielle hændelsesopdatering.
Datapunkt indtager for nye metriske tidsserier blev påvirket mellem 10: 37 AM PST og 10: 39 AM PST. Der var delvist tab af data for nye metriske tidsserier i denne periode. Denne situation er nu genvundet.
Automatisk oversat fra den officielle hændelsesopdatering.
Startende på 4a PT, vi er ved at undersøge en større udfald af Splunk Observability Cloud web applikation. Data ingest er ikke påvirket på nuværende tidspunkt. Vi vil give en opdatering så hurtigt som muligt.
Vi fortsætter med at undersøge problemet.
Et fix er blevet gennemført, og vi overvåger resultaterne.
Denne hændelse er blevet løst. Bemærk venligst, at Splunk Observability Cloud API også blev påvirket under denne hændelse.
Automatisk oversat fra den officielle hændelsesopdatering.
Mellem 1a PDT og 2: 50a PDT, enhver GCP integration, der havde "Sync all (dynamisk) listet projekter" indstilling aktiveret havde nogle af Cloud Overvågning data fra GCP faldet. Dette spørgsmål er blevet løst. Kunder kan se huller i diagrammer og detektorer, der bruger påvirket GCP Cloud Overvågning målinger. AWS CloudWatch og Azure Monitor målinger er ikke påvirket.
Automatisk oversat fra den officielle hændelsesopdatering.
Kunder kan opleve forsinkelser i at se nyoprettede metriske tidsserier. Datapointingest påvirkes ikke for eksisterende tidsserier. Vi er ved at undersøge og vil levere en opdatering snart.
Problemet med forsinkelser i nyoprettede tidsserier er løst. Den metriske tidsserieskabelse fungerer normalt. Datapost indtagelse for eksisterende tidsserier blev ikke påvirket.
Automatisk oversat fra den officielle hændelsesopdatering.
Vi har bekræftet, at problemet med Tag Spotlight er løst. Kunder kan have oplevet begrænset funktionalitet inden for Tag Spotlight begynder omkring 4: 30 PM PT den 30. juni. Fuld funktionalitet blev genoprettet på 7: 20 AM PT den 1. juli.
Automatisk oversat fra den officielle hændelsesopdatering.
På grund af en regression i en nylig udgivelse, blev brugere, der navigerer fra Logs Related Content på APM TraceView side til log Observer omdirigeret tilbage til APM TraceView i stedet. Dette påvirkede Logs korrelation oplevelse for kunder på tværs af alle riger, undtagen US3 og Gov. Ændringen er blevet vendt for at genoprette den forventede navigationserfaring. Product tilgængelighed for APM og log Observer var ikke påvirket; problemet var begrænset til Logs Correlation workflow fra TraceView. Tilfælde Starttid: 05: 09 PDT, 25 juni, 2026 Hændelsestidspunkt: 22: 15 PDT, 25. juni 2026
Automatisk oversat fra den officielle hændelsesopdatering.
Rum API Endpoints were not available for one of our IPs, resulting in degraded service or a partial outage at first, and possibly a complete outage towards the end. This issue occurred from 4:22pm PST to 4:57pm PST
Datapoint ingest is affected , some datapoints could be dropped. Team is investigating and will provide an update shortly.
Our engineering team is currently implementing an impact mitigation configuration change. The internal investigation is still ongoing. We will share an additional update as soon as possible.
Our engineering team has completed impact mitigating configuration changes and confirmed services are recovered as of 4:55 PDT. We will continue monitoring and share an update as soon as possible.
Our engineering team has confirmed that all the services recovered as of 4:55 PM PDT and remained stable during monitoring. This incident is now resolved.
We are investigating delays in processing Splunk Observability Synthetic Monitoring test results for a small subset of customers. Tests are still running, but metrics may be delayed until the issue is resolved.
We have identified and remediated an issue affecting synthetic test result ingestion for a subset of customers. We apologize for any inconvenience this may have caused and thank you for your patience. Time range of impact: June 1 20:00 UTC - June 2 15:30 UTC
Charts for customers may not be loading. App and UI availability is also impacted. We are investigating and will provide an update shortly.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the status.
This Incident has been resolved.
A degradation of the Splunk O11y Cloud ingest path is causing ~20% of AWS CloudWatch metrics to be dropped. We are investigating the issue and will provide an update as soon as possible.
This incident has been resolved. We have since confirmed that only AWS CloudWatch metrics were impacted during this incident. Azure and GCP metrics were not impacted.
We are currently investigating this issue.
We are continuing to investigate this issue.
The issue has been identified and a fix is being implemented.
This incident has been resolved.
Charts for all customers may not be loading. Datapoint ingest is not affected. We are investigating and will provide an update shortly.
Our teams continue working to identify the cause and implement a fix.
Our investigation remains ongoing, and there is no change in status at this time. We are continuing to prioritize this issue and will provide the next update in thirty minutes.
Our teams are continuing their efforts to identify the root cause of this issue. There is no change in status to report at this time, but we are dedicating all necessary resources to reach a resolution. We will provide another update shortly.
Update (8:50 AM PST): We have observed that charts are now loading successfully. While service is recovering, our teams remain on-site to investigate the root cause and ensure full system stability. We will continue to monitor performance closely.
We are continuing to monitor the environment. There is no change in status at this time; our teams remain focused on resolving the remaining isolated issues.
Our teams are continuing to monitor the environment and are actively working to fully resolve the issue.
Update 10:30 PST: We are also investigating reports of login issues. Users may experience difficulty authenticating or accessing their accounts at this time.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
We are continuing to monitor the environment to ensure full remediation.
This incident has been resolved.
We are investigating an issue affecting Real User Monitoring (RUM) metrics across all realms. Customers may experience custom metric MTS quota limits being exceeded, resulting in metric data being dropped. RUM metric dimensions that were previously available may be missing.
The issue affecting Real User Monitoring (RUM) metrics has been identified. The fix is currently being implemented. We are actively working to restore full service and will provide further updates as progress continues.
We are continuing to work on the fix. We expect to have further updates within the next hour. We appreciate your patience as we work diligently to resolve this issue and restore full service.
We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We are thoroughly validating the mitigation to ensure it resolves the issue effectively and maintains system stability. We appreciate your ongoing patience and will provide further updates as testing progresses.
We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We will share an update once we have further information.
The outage impacting RUM MMS Data Drop has been resolved after internal engineering teams deployed a fix. All systems are operational and stable. Thank you for your patience and understanding.
We are currently investigating an issue where RUM (Real User Monitoring) MMS data is being dropped, which may result in missing or incomplete data in charts and dashboards related to real user monitoring. We are actively investigating and will provide updates as the situation develops.
We have identified the cause of the issue resulting in missing or incomplete data in Real User Monitoring charts and dashboards. We are implementing a fix and will provide an update within 15 minutes.
A solution to address the issue causing missing or incomplete data in Real User Monitoring (RUM) charts and dashboards is currently being implemented. Our teams are actively working on deploying the fix and will continue to provide updates as progress is made
We have identified an issue causing missing or incomplete data in Real User Monitoring (RUM) custom charts and dashboards across multiple realms. A fix is currently being rolled out and validated
A fix for the issue affecting Real User Monitoring (RUM) charts and dashboards has been deployed and is being actively monitored across all realms; customers may now see data restored in charts and dashboards
The issue affecting Real User Monitoring (RUM) custom charts and dashboards across multiple realms has been resolved. The fix has been deployed, and data is now flowing normally.