61 Signalfx Us1 incidents · Mayıs 2025 — official updates, affected components, duration and resolution details.
Splunk Observis AI Asistanının büyük bir kısmını araştırıyoruz.
Sorun bir Azure OpenAI kesintisi olarak tespit edildi ve bir iş ile ilerliyoruz.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Takip aşaması tamamlandı. Sorun çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
08/25/2026, 11:38AM PDT, Splunk APM iz işleme boru hattının performansında bir bozulma, 5 dakikadan fazla gecikmesine neden oluyor. Sonuç olarak, APM Problemshooting deneyimi, hizmet haritaları ve Tag Spotlight en son verilere erişimi yok. Business Workflows için metriklerin işlenmesi, bu boru hattına da bağlıdır, aynı şekilde gecikir. Trace data ingest bu zamanda etkilemez; servis seviyesi ve uç nokta düzeyinde İzleme Medeniyetleri ve onlardan inşa edilen detektörler de etkilenmez.
Bu konuyu araştırmaya devam ediyoruz.
Sorun tespit edildi ve bir düzeltme uygulanır.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Ekiplerimiz durumu tam remediasyon sağlamak için izlemeye devam ediyor.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Gecikme uyarıları ile ilgili sorunlar gecikmiş bildirimleri geciktirmeye yol açıyor. Şu anda konuyu araştırıyoruz.
Şu anda yüksek bildirim gecikmesini araştırıyoruz. Müşteriler uyarı bildirimleri almada gecikme yaşayabilirler. Bu sorunu çözmek için aktif olarak çalışıyoruz ve ilerleme yaptığımız gibi güncelleştirmeler sağlayacaktır. Sabrınızı takdir ediyoruz.
Tanımlandık ve gecikmiş uyarı bildirimlerine neden olan sorunu aktif olarak çözüyoruz. Düzlem uygulandı ve zaten bildirim teslimat zamanlarında önemli bir gelişme gösteriyor. Bizim düzeltmeden önce kuyruklanan bazı bildirimler hala sistem yakaladığı gibi küçük gecikmeler yaşayabilirken, yeni bildirimler normalde teslim edilir. Sabrınızı takdir ederiz ve durumu yakından takip etmeye devam edeceğiz.
Sorunu çözmeye aktif olarak çalışıyoruz. Müşteriler bildirim tesliminde gecikmeler yaşamaya devam edebilir. Bu, kuyruktaki önceki olayların arkasında işlenmiş olan yeni oluşturulan bildirimleri içeriyor. Takım aktif olarak kök nedenini araştırıyor ve geri dönüş bildirimlerini temizlemek için çalışıyor. Geçici bir masyon ölçüsü olarak, işlem hızını artırmak için bildirimlerin engelli görüntü önizlemeleri var. Bildirimler şimdilik sadece metin olacaktır. Sabrınızı takdir ederiz ve ilerleme olarak daha fazla güncelleme sağlayacaktır.
Bildirim gecikmelerini ele almak için bir düzeltme yaptık. İzlememiz bildirim teslimat zamanlarında önemli bir gelişme gösteriyor ve konunun tamamen çözülmesini sağlamak için daha yakından takip ediyoruz. Tüm hizmeti geri yüklemek için çalıştığımız gibi sabrınız için teşekkür ederiz.
Bildirim teslimat gecikmeleri tamamen çözüldü. Tüm kuyruk bildirimleri işlendi ve sistem artık normal olarak çalışıyor.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Splunk APM metrics işleme hattının performansında bir bozulma, 5 dakikadan fazla gecikmesi için Metrikleri İzlemeye neden oluyor. Takip verileri etkilenmez, ancak hizmet, endpoint ve iş panoları ve diğer grafikler ve dektörler İzleme Medeniyetleri tarafından inşa edilen detektörler etkilenir.
Konuyu araştırmaya devam ediyoruz.
Bu konuyu araştırmaya devam ediyoruz.
Sorun tespit edildi ve bir düzeltme uygulanır.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Yeni veya yeniden aktive edilen metrik zaman serisi için veri noktası 2:28 PM PST ile 2:47 PM PST arasında etkilendi. Bu süre zarfında yeni metrik zaman serisi için kısmi veri kaybı vardı. Bu durum şimdi kurtarılıyor.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Yeni metrik zaman serisi için veri noktası 10:37 AM PST ve 10:39 AM PST arasında etkilendi. Bu süre zarfında yeni metrik zaman serisi için kısmi veri kaybı vardı. Bu durum şimdi kurtarılıyor.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
4a PT'de başlayarak, Splunk Observability Cloud web uygulamasının büyük bir kısmını araştırıyoruz. Data ingest bu zamanda etkilenmez. En kısa sürede bir güncelleme sağlayacağız.
Konuyu araştırmaya devam ediyoruz.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Bu olay çözüldü. Splunk Observability Cloud API'sinin bu olay sırasında da etkilendiğini unutmayın.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
1a PDT ve 2:50a PDT arasında, GCP'den bazı Bulut İzleme verileri düştü. Bu konu çözüldü. Müşteriler, etkilenen GCP Cloud İzleme metriklerini kullanan grafikler ve dedektörlerin boşluklarını görebilirler. AWS CloudWatch ve Azure Monitor metrikleri etkilenmez.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Müşteriler yeni yaratılan metrik zaman serisini görmede gecikme yaşayabilirler. Datapoint ingest mevcut zaman serisi için etkilenmez. Araştırmalıyız ve kısa bir süre içinde bir güncelleme sağlayacaktır.
Yeni yaratılan metrik zaman serisindeki gecikmelere neden olan sorun çözüldü. Metrik zaman serisi oluşturma normalde çalışır. Mevcut zaman serisi için veri noktası etkilenmedi.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Tag Spotlight'ı etkileyen konunun çözülmüş olduğunu doğruladık. Müşteriler 30 Haziran'da Tag Spotlight'da yaklaşık 4:30 PM PT'de sınırlı işlevsellik yaşayabilirler. Tam işlevsellik, Temmuz 1'de 7:20 AM PT'de restore edildi.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Son bir sürümde bir regresyon nedeniyle, kullanıcılar Logs Related Content on the APM TraceView page to Log Observer bunun yerine APM TraceView'e yeniden yönlendirildi. Bu, ABD3 ve Gov dışında tüm dünyadaki müşteriler için Logs Correlation deneyimini etkiledi. Değişim beklenen navigasyon deneyimini geri yüklemek için geri alındı. APM ve Log Observer için ürün kullanılabilirliği etkilenmedi; konu TraceView'den Logs Correlation iş akışı ile sınırlıydı. Olay Zaman Başlıyor: 05:09 PDT, 25 Haziran Olay Son Zaman: 22:15 PDT, 25 Haziran
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Rum API Endpoints were not available for one of our IPs, resulting in degraded service or a partial outage at first, and possibly a complete outage towards the end. This issue occurred from 4:22pm PST to 4:57pm PST
Datapoint ingest is affected , some datapoints could be dropped. Team is investigating and will provide an update shortly.
Our engineering team is currently implementing an impact mitigation configuration change. The internal investigation is still ongoing. We will share an additional update as soon as possible.
Our engineering team has completed impact mitigating configuration changes and confirmed services are recovered as of 4:55 PDT. We will continue monitoring and share an update as soon as possible.
Our engineering team has confirmed that all the services recovered as of 4:55 PM PDT and remained stable during monitoring. This incident is now resolved.
We are investigating delays in processing Splunk Observability Synthetic Monitoring test results for a small subset of customers. Tests are still running, but metrics may be delayed until the issue is resolved.
We have identified and remediated an issue affecting synthetic test result ingestion for a subset of customers. We apologize for any inconvenience this may have caused and thank you for your patience. Time range of impact: June 1 20:00 UTC - June 2 15:30 UTC
Charts for customers may not be loading. App and UI availability is also impacted. We are investigating and will provide an update shortly.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the status.
This Incident has been resolved.
A degradation of the Splunk O11y Cloud ingest path is causing ~20% of AWS CloudWatch metrics to be dropped. We are investigating the issue and will provide an update as soon as possible.
This incident has been resolved. We have since confirmed that only AWS CloudWatch metrics were impacted during this incident. Azure and GCP metrics were not impacted.
We are currently investigating this issue.
We are continuing to investigate this issue.
The issue has been identified and a fix is being implemented.
This incident has been resolved.
Charts for all customers may not be loading. Datapoint ingest is not affected. We are investigating and will provide an update shortly.
Our teams continue working to identify the cause and implement a fix.
Our investigation remains ongoing, and there is no change in status at this time. We are continuing to prioritize this issue and will provide the next update in thirty minutes.
Our teams are continuing their efforts to identify the root cause of this issue. There is no change in status to report at this time, but we are dedicating all necessary resources to reach a resolution. We will provide another update shortly.
Update (8:50 AM PST): We have observed that charts are now loading successfully. While service is recovering, our teams remain on-site to investigate the root cause and ensure full system stability. We will continue to monitor performance closely.
We are continuing to monitor the environment. There is no change in status at this time; our teams remain focused on resolving the remaining isolated issues.
Our teams are continuing to monitor the environment and are actively working to fully resolve the issue.
Update 10:30 PST: We are also investigating reports of login issues. Users may experience difficulty authenticating or accessing their accounts at this time.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
We are continuing to monitor the environment to ensure full remediation.
This incident has been resolved.
We are investigating an issue affecting Real User Monitoring (RUM) metrics across all realms. Customers may experience custom metric MTS quota limits being exceeded, resulting in metric data being dropped. RUM metric dimensions that were previously available may be missing.
The issue affecting Real User Monitoring (RUM) metrics has been identified. The fix is currently being implemented. We are actively working to restore full service and will provide further updates as progress continues.
We are continuing to work on the fix. We expect to have further updates within the next hour. We appreciate your patience as we work diligently to resolve this issue and restore full service.
We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We are thoroughly validating the mitigation to ensure it resolves the issue effectively and maintains system stability. We appreciate your ongoing patience and will provide further updates as testing progresses.
We are currently continuing to test the fix for the Real User Monitoring (RUM) metrics issue. We will share an update once we have further information.
The outage impacting RUM MMS Data Drop has been resolved after internal engineering teams deployed a fix. All systems are operational and stable. Thank you for your patience and understanding.
We are currently investigating an issue where RUM (Real User Monitoring) MMS data is being dropped, which may result in missing or incomplete data in charts and dashboards related to real user monitoring. We are actively investigating and will provide updates as the situation develops.
We have identified the cause of the issue resulting in missing or incomplete data in Real User Monitoring charts and dashboards. We are implementing a fix and will provide an update within 15 minutes.
A solution to address the issue causing missing or incomplete data in Real User Monitoring (RUM) charts and dashboards is currently being implemented. Our teams are actively working on deploying the fix and will continue to provide updates as progress is made
We have identified an issue causing missing or incomplete data in Real User Monitoring (RUM) custom charts and dashboards across multiple realms. A fix is currently being rolled out and validated
A fix for the issue affecting Real User Monitoring (RUM) charts and dashboards has been deployed and is being actively monitored across all realms; customers may now see data restored in charts and dashboards
The issue affecting Real User Monitoring (RUM) custom charts and dashboards across multiple realms has been resolved. The fix has been deployed, and data is now flowing normally.