61 Signalfx Us1 incidents · maj 2025 — official updates, affected components, duration and resolution details.
Prowadzimy śledztwo w sprawie nieobecności asystenta Sparnk Observability AI.
Problem ten został zidentyfikowany jako przestoju Azure OpenAI, a my kontynuujemy pracę.
Wprowadzono rozwiązanie i monitorujemy wyniki.
Faza monitorowania zakończona. Sprawa została rozwiązana.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Począwszy od 08 / 25 / 2026, 11: 38AM PDT, degradacja w działaniu rurociągu przesiewowego Sparunk APM powoduje opóźnienie o ponad pięć minut. W rezultacie APM nie ma dostępu do najnowszych danych. Równie opóźnione jest przetwarzanie danych liczbowych dotyczących przepływów pracy w biznesie, które również zależą od tego rurociągu. W tym momencie nie ma wpływu na spożycie danych pochodzących z śledzenia; nie ma również wpływu na MetriceSety monitorowania poziomu usług i poziomu końcowego oraz wbudowane z nich detektory.
Nadal badamy tę kwestię.
Problem został zidentyfikowany i jest w trakcie wdrażania.
Wprowadzono rozwiązanie i monitorujemy wyniki.
Nasze zespoły nadal monitorują sytuację, aby zapewnić pełną rekultywację.
Ten incydent został rozwiązany.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Problemy z przetwarzaniem ostrzeżeń, które prowadzą do opóźnionych powiadomień. Obecnie badamy tę sprawę.
Prowadzimy śledztwo w sprawie zwiększonego opóźnienia w powiadamianiu. Klienci mogą mieć do czynienia z opóźnieniami w otrzymywaniu powiadomień alarmowych. Aktywnie pracujemy nad rozwiązaniem tej kwestii i dostarczymy jej aktualizacji w miarę postępów. Doceniamy twoją cierpliwość.
Zidentyfikowaliśmy i aktywnie rozwiązujemy problem powodujący opóźnienia w powiadamianiu o ostrzeżeniach. Rozwiązanie zostało wdrożone i już teraz wykazuje znaczną poprawę w czasie dostawy powiadomień. Podczas gdy niektóre powiadomienia, które zostały w kolejce przed naszą naprawą, mogą nadal wystąpić niewielkie opóźnienia w miarę nadrabiania zaległości w systemie, nowe powiadomienia są zwykle dostarczane. Dziękujemy za cierpliwość i będziemy uważnie monitorować sytuację.
Aktywnie pracujemy nad rozwiązaniem tej kwestii. Klienci mogą nadal doświadczać opóźnień w przekazywaniu powiadomień. Obejmuje to nowo wygenerowane powiadomienia, które są przetwarzane za wcześniejszymi zdarzeniami w kolejce. Zespół aktywnie bada przyczynę i pracuje nad oczyszczeniem zaległości powiadomień w kolejce. Jako tymczasowy środek łagodzący, mamy w powiadomieniach podgląd obrazu dla poprawy szybkości przetwarzania. Powiadomienia będą tylko na teraz. Dziękujemy za cierpliwość i dostarczy dalszych aktualizacji w miarę postępów.
Wprowadziliśmy rozwiązanie problemu opóźnień w powiadamianiu. Nasz monitoring wykazuje znaczną poprawę w czasie dostarczania zgłoszeń i ściśle śledzimy wyniki, aby zapewnić pełne rozwiązanie problemu. Dziękuję za cierpliwość, jak pracujemy, aby przywrócić pełną obsługę.
Opóźnienia w dostawie powiadomień zostały w pełni rozwiązane. Wszystkie powiadomienia w kolejce zostały przetworzone i system działa teraz normalnie.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Degradacja działania rurociągu pomiarowego Sparunk APM powoduje opóźnienie MetricSets Monitoring o ponad pięć minut. Zużycie danych śladowych nie ma wpływu, ale deski rozdzielcze serwisowe, punktowe i robocze, a także inne mapy i detektory zbudowane z Setów MetricSets Monitoring są naruszone.
Nadal badamy ten problem.
Nadal badamy tę kwestię.
Problem został zidentyfikowany i jest w trakcie wdrażania.
Wprowadzono rozwiązanie i monitorujemy wyniki.
Ten incydent został rozwiązany.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Datapoint spożyć dla nowy lub reaktywowany metryczny seria czas być wpływ między 2: 28 PM PST do 2: 47 PM PST. W tym okresie odnotowano częściową utratę danych dotyczących nowych szeregów czasowych metrycznych. Ta sytuacja jest teraz odzyskana.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Datapoint spożyć dla nowy metryczny seria czas być wpływ między 10: 37 AM PST i 10: 39 AM PST. W tym okresie odnotowano częściową utratę danych dotyczących nowych szeregów czasowych metrycznych. Ta sytuacja jest teraz odzyskana.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Począwszy od 4a PT, badamy poważny brak aplikacji Sparunk Observability Cloud. Zażywanie danych nie ma obecnie wpływu. Dostarczymy aktualizację jak najszybciej.
Nadal badamy ten problem.
Wprowadzono rozwiązanie i monitorujemy wyniki.
Ten incydent został rozwiązany. Należy pamiętać, że API Cloud Observability Splunk również ucierpiał podczas tego incydentu.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Między 1a PDT i 2: 50a PDT, każda integracja GCP, która miała "Sync all (dynamicznie) wymienione projekty" ustawienie włączone miał niektóre z danych monitorowania chmury z GCP spadła. Kwestia ta została rozwiązana. Klienci mogą zauważyć luki w wykresach i czujnikach, które korzystają z dotkniętych wskaźników GCP Cloud Monitoring. Mierniki AWS CloudWatch i Azure Monitor nie mają wpływu.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Klienci mogą doświadczać opóźnień w oglądaniu nowo utworzonych metrycznych szeregów czasowych. Zażywanie Datapoint nie ma wpływu na istniejące szeregi czasowe. Prowadzimy śledztwo i wkrótce dostarczymy nowe informacje.
Problem powodujący opóźnienia w nowo utworzonych metrycznych szeregach czasowych został rozwiązany. Tworzenie szeregów czasowych metric działa normalnie. Zażywanie Datapoint dla istniejących szeregów czasowych nie zostało naruszone.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Potwierdziliśmy, że problem dotyczący Tag Spotlight został rozwiązany. Klienci mogli doświadczyć ograniczonej funkcjonalności w ramach Tag Spotlight, począwszy od około 4: 30 PM PT 30 czerwca. Pełna funkcjonalność została przywrócona o 7: 20 w dniu 1 lipca.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Ze względu na regresję w niedawnym wydaniu, użytkownicy nawigacji z Logs Related Content na stronie APM TraceView do Log Observer zostali przekierowani z powrotem do APM TraceView. To wpłynęło na doświadczenia Logs Korelacja dla klientów we wszystkich dziedzinach, z wyjątkiem US3 i Gov Zmiana została przywrócona w celu przywrócenia oczekiwanego doświadczenia nawigacyjnego. Dostępność produktu dla APM i Log Observer nie została naruszona; problem był ograniczony do przepływu pracy Logs Korelacja z TraceView. Czas rozpoczęcia incydentu: 05: 09 PDT, 25 czerwca 2026 Czas zakończenia incydentu: 22: 15 PDT, 25 czerwca 2026
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Rum API Endpoints were not available for one of our IPs, resulting in degraded service or a partial outage at first, and possibly a complete outage towards the end. This issue occurred from 4:22pm PST to 4:57pm PST
Datapoint ingest is affected , some datapoints could be dropped. Team is investigating and will provide an update shortly.
Our engineering team is currently implementing an impact mitigation configuration change. The internal investigation is still ongoing. We will share an additional update as soon as possible.
Our engineering team has completed impact mitigating configuration changes and confirmed services are recovered as of 4:55 PDT. We will continue monitoring and share an update as soon as possible.
Our engineering team has confirmed that all the services recovered as of 4:55 PM PDT and remained stable during monitoring. This incident is now resolved.
We are investigating delays in processing Splunk Observability Synthetic Monitoring test results for a small subset of customers. Tests are still running, but metrics may be delayed until the issue is resolved.
We have identified and remediated an issue affecting synthetic test result ingestion for a subset of customers. We apologize for any inconvenience this may have caused and thank you for your patience. Time range of impact: June 1 20:00 UTC - June 2 15:30 UTC
Charts for customers may not be loading. App and UI availability is also impacted. We are investigating and will provide an update shortly.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the status.
This Incident has been resolved.
A degradation of the Splunk O11y Cloud ingest path is causing ~20% of AWS CloudWatch metrics to be dropped. We are investigating the issue and will provide an update as soon as possible.
This incident has been resolved. We have since confirmed that only AWS CloudWatch metrics were impacted during this incident. Azure and GCP metrics were not impacted.
We are currently investigating this issue.
We are continuing to investigate this issue.
The issue has been identified and a fix is being implemented.
This incident has been resolved.
Charts for all customers may not be loading. Datapoint ingest is not affected. We are investigating and will provide an update shortly.
Our teams continue working to identify the cause and implement a fix.
Our investigation remains ongoing, and there is no change in status at this time. We are continuing to prioritize this issue and will provide the next update in thirty minutes.
Our teams are continuing their efforts to identify the root cause of this issue. There is no change in status to report at this time, but we are dedicating all necessary resources to reach a resolution. We will provide another update shortly.
Update (8:50 AM PST): We have observed that charts are now loading successfully. While service is recovering, our teams remain on-site to investigate the root cause and ensure full system stability. We will continue to monitor performance closely.
We are continuing to monitor the environment. There is no change in status at this time; our teams remain focused on resolving the remaining isolated issues.
Our teams are continuing to monitor the environment and are actively working to fully resolve the issue.
Update 10:30 PST: We are also investigating reports of login issues. Users may experience difficulty authenticating or accessing their accounts at this time.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
We are continuing to monitor the environment to ensure full remediation.
This incident has been resolved.
We are investigating an issue affecting Real User Monitoring (RUM) metrics across all realms. Customers may experience custom metric MTS quota limits being exceeded, resulting in metric data being dropped. RUM metric dimensions that were previously available may be missing.
The issue affecting Real User Monitoring (RUM) metrics has been identified. The fix is currently being implemented. We are actively working to restore full service and will provide further updates as progress continues.
We are continuing to work on the fix. We expect to have further updates within the next hour. We appreciate your patience as we work diligently to resolve this issue and restore full service.
We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We are thoroughly validating the mitigation to ensure it resolves the issue effectively and maintains system stability. We appreciate your ongoing patience and will provide further updates as testing progresses.
We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We will share an update once we have further information.
The outage impacting RUM MMS Data Drop has been resolved after internal engineering teams deployed a fix. All systems are operational and stable. Thank you for your patience and understanding.
We are currently investigating an issue where RUM (Real User Monitoring) MMS data is being dropped, which may result in missing or incomplete data in charts and dashboards related to real user monitoring. We are actively investigating and will provide updates as the situation develops.
We have identified the cause of the issue resulting in missing or incomplete data in Real User Monitoring charts and dashboards. We are implementing a fix and will provide an update within 15 minutes.
A solution to address the issue causing missing or incomplete data in Real User Monitoring (RUM) charts and dashboards is currently being implemented. Our teams are actively working on deploying the fix and will continue to provide updates as progress is made
We have identified an issue causing missing or incomplete data in Real User Monitoring (RUM) custom charts and dashboards across multiple realms. A fix is currently being rolled out and validated
A fix for the issue affecting Real User Monitoring (RUM) charts and dashboards has been deployed and is being actively monitored across all realms; customers may now see data restored in charts and dashboards
The issue affecting Real User Monitoring (RUM) custom charts and dashboards across multiple realms has been resolved. The fix has been deployed, and data is now flowing normally.