67 Sauce Labs incidents · Kasım 2024 — official updates, affected components, duration and resolution details.
13 Ekim'de, 05:10 UTC ve 05:45 UTC arasında, 999, RDC, Sauce Connect ve IPSec hizmetleri ABD-West-1 veri merkezinde yaşadık. Sorun çözüldü. Tüm hizmetler artık tamamen operasyonel.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
AB-Central-1 veri merkezinde bulunan Sos Labs UI ile bir sorun yaşıyoruz. araştırıyoruz.
Hâlâ Avrupa-Central-1 veri merkezinde bulunan Sos Labs UI ile ilgili sorunlar yaşıyoruz. Araştırmaya devam ediyoruz.
AB-Central-1 veri merkezinde devam eden Sorma Laboratuvarları UI sorunlarının nedenini daralttık. Soruşturma devam ediyor.
AB-Central-1 veri merkezinde devam eden sorunu çözmek için üçüncü taraf sağlayıcılarımızla yakından çalışıyoruz. Soruşturma devam ediyor.
AB-Central-1 veri merkezinde devam eden konuyu araştırmak ve çözmek için ortaklarımızla ve ilgili ekiplerimizle çalışmaya devam ediyoruz. Daha fazla bilgi mevcut olduğu gibi daha fazla güncelleme paylaşacağız.
UI erişimimizi AB-Central-1'de etkileyen konu kökü, veri merkezinde üçüncü taraf altyapı sağlayıcılarımızdan biriyle devam eden bir olaya bağlıdır. Ekibimiz bu olayı sonumuzda kapalı tutuyor olsa da, sağlayıcının devam eden soruşturmayı aktif olarak takip ediyoruz ve performansı yakından izleyeceğiz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Hata raporlaması için hata kesintisi yaşıyoruz (Backtrace) tüm Data Center'larda Android ve Linux'ta kazapad kullanıyor. Şu anda araştırıyoruz.
Bu konuyu araştırmaya devam ediyoruz.
Hata raporlaması için hatanın kök nedeni tespit edilmiştir. Remediasyon uygulandı ve durumu aktif olarak izliyoruz.
Remedial aksiyon aldıktan sonra, Hata raporlamasında (Backtrace) hata çözüldü. Tüm hizmetler tamamen operasyoneldir.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda AB-Central-1 veri merkezinde gerçek cihaz testleri için yüksek hata oranları görüyoruz. araştırıyoruz.
Real Device test hatası oranları AB-Central-1 veri merkezinde normale döndü. Tüm hizmetler tamamen operasyoneldir.
## **Dates:** Çarşamba, 30 Eylül 2026, 09:04 UTC - 10:49 UTC. ## ** Ne oldu:** Real Device Otomatik Testler, AB Merkez veri merkezinde başlamak için deneyimli başarısızlıklar yaşadı, hata oranları %25'e ulaştı. ## ** Neden oldu:** Bir dağıtım, temel altyapıdaki önbellekleri ve yüksek yükü arttırmaya yol açtı. ## **Bunu nasıl düzelttik:** Hizmet önceki bir sürüme geri döndü. ## ** Bunu tekrar gerçekleştirmeyi önlemek için ne yapıyoruz:** Alternatif caching stratejileri önbellek etkinliğini artırmak için kabul edilir.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda ABD-West-1 veri merkezinde otomatik gerçek cihaz testleri için yüksek hata oranları görüyoruz. Şu anda araştırıyoruz.
ABD-West-1 veri merkezinde Gerçek Cihaz testleri için yüksek hata oranlarının temel nedeni tespit edilmiştir. Remediasyon uygulandı ve durumu aktif olarak izliyoruz.
Remedial aksiyon aldıktan sonra, Real Device test hatası oranları ABD-West-1 veri merkezinde normale döndü. Tüm hizmetler tamamen operasyoneldir.
## **Dates:** Pazartesi, 28 Eylül 2026, 14:19 UTC - 16:52 UTC. ## ** Ne oldu:** ABD West'deki gerçek cihaz testleri yavaş yüklemeler nedeniyle test eserler yayınlamaya başarısız oldu. ## ** Neden oldu:** Bir degraded interconnect bağlantı optik hatalardan yüksek paket kaybı yaşadı, ancak BGP ayağa kalktı, otomatik başarısızları sağlıklı yollara bıraktı. ## **Bunu nasıl düzelttik:** Manually kenar yönlendiricisinde bozuldu, trafiği sağlıklı alternatif bağlantılara zorladı. ## ** Bunu tekrar gerçekleştirmeyi önlemek için ne yapıyoruz:** CRC hatası eşlerine dayanan bağlantıyı otomatikleştirmek, fping satıcı bağlantılarını artırmak ve yükleme esnekliğini zorlaştırmak.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
12:05 UTC ve 12:35 UTC arasında, ABD-West-1 veri merkezinde Masaüstü ve Sanal Cihaz testleri için yüksek bir hata oranı yaşadık. Sorun çözüldü. Tüm hizmetler tamamen operasyoneldir.
### **Dates:** Wednesday, September 23rd 2026, 12:05 UTC - 12:35 UTC. ### **What happened:** Virtual Device Cloud testing availability gradually decreased in the US-West-1 data center. ### **Why it happened:** A product defect was introduced causing Virtual Device Cloud testing sessions to fail to start. ### **How we fixed it:** Rollback to a stable version. ### **What we are doing to prevent it from happening again:** Strengthen pre-deployment validation and reassess configuration rollout strategies.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
09:52 UTC ve 10:34 UTC arasında, ABD-West veri merkezinde birden çok Sorma sistemi bir kesinti yaşadı, kimlik doğrulama hatalarına neden oldu ve test özellikleri için kesintilere yol açtı. Tüm sistemler artık tamamen operasyoneldir.
## **Dates:** Çarşamba, 16 Eylül 2026, 09:51 UTC - 10:35 UTC. ## ** Ne oldu:** Multipl Sauce Labs, ABD-West-1 veri merkezinde yavaş yavaş yavaş azaldı. Etkilenen hizmetler dahil: * Authentication \(sign-in, SSO, mevcut seanslar ve işaret-up\) * Virtual Device Cloud \(999\) * Gerçek Device Cloud \(RDC\) * * REST API * App Storage * * * Görsel Görseller * Test * Kullanıcı ve Takım Yönetimi * Billing Planları ve Kullanımı API ## ** Neden oldu:** Kimlikleme hizmetinin bir dağıtımı, veritabanı bağlantılarında beklenmedik bir dalgalanmayı tetikledi, kimlik doğrulama hatalarına neden oldu ve birden fazla Sorma laboratuvarı hizmetlerini kesintiye uğrattı. ## **Bunu nasıl düzelttik:** Etkilenen veritabanı düğümü yeniden başlatın. ## ** Bunu tekrar gerçekleştirmeyi önlemek için ne yapıyoruz:** Genişleme stratejileri, yaşam döngüsü yönetimi, başarısız mekanizmalar ve sağlık kontrol duyarlılığı geliştirmek.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
EU-Central-1 veri merkezinde Gerçek Cihaz testleri için yüksek hata oranları görüyoruz. araştırıyoruz.
AB-Central-1 veri merkezindeki Real Device testleri için yüksek hata oranlarının temel nedeni tespit edilmiştir. Remediasyon uygulandı ve durumu aktif olarak izliyoruz.
Remedial aksiyon aldıktan sonra, Real Device test hatası oranları AB-Central-1 veri merkezinde normale döndü. Tüm hizmetler tamamen operasyoneldir.
**Dates: ** Çarşamba, 2nd 2026, 08:30 UTC - 11:15 UTC. ## ** Ne oldu:** Real Device Otomatik Testler, AB Merkez veri merkezinde başlamak için deneyimli başarısızlıklar yaşadı, yüksek hata oranları kısa süreler için neredeyse% 100 ulaştı. ## ** Neden oldu:** Bir dağıtım, temel altyapıdaki önbellekleri ve yüksek yükü arttırmaya yol açtı. ## **Bunu nasıl düzelttik:** Hizmet, uygulamayı yeniden başlatarak restore edildi. ## ** Bunu tekrar gerçekleştirmeyi önlemek için ne yapıyoruz:** Ek kaynaklar kısa vadede recurrence olasılığını azaltmak için tahsis edildi. Uzun vadede, kaynak yoğun görevlerin performansını optimize edeceğiz ve dinamik ölçekler tanıtacağız.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda ABD-West-1 veri merkezinde Mac ve iOS testleri için yüksek hata oranları görüyoruz. Şu anda araştırıyoruz.
Remedial aksiyon aldıktan sonra, tüm Mac ve iOS testleri şimdi ABD-West-1 Data merkezinde beklendiği gibi performans gösteriyor. Tüm hizmetler tamamen operasyoneldir.
## **Dates:** 25 Ağustos 2026, 11:38 - 13:10 UTC ## ** Ne oldu:** Müşteriler ABD-West Bölgesimizde Mac ve iOS testlerini çalıştırıyor, bozuldu. Bölgedeki sanal Mac kapasitesinin yaklaşık% 50'si yeni testleri kabul etmeyi bıraktı, bu yüzden ya kuyruklanmış ya da başlamak için başarısız oldu. Kalan kapasite, her iki masaüstü ve simülatörü testleri için zaman uzatan iş olarak ek baskı altında geldi. ## ** Neden oldu:** Mac'imiz tarafından kullanılan bir iç güvenlik sertifikası, bir destek bulut hizmetine ulaşmak için geniş bir tarihe ulaştı. Bir zamanlar, ev sahipleri artık bu hizmete güvenilir bir bağlantı kuramadı ve yeni test makinelerini durdurdu. Sertifika manuel olarak yayınlandı ve ne otomatik bir yenileme ya da uyarmadı. ## **Bunu nasıl düzelttik:** Bağlantıyı restore eden ve Mac kapasitesini normal seviyelere iade ettik. ## ** Bunu tekrar gerçekleştirmeyi önlemek için ne yapıyoruz:** Bu sertifikaları otomatik yenilemeye ve uyarıya ekliyoruz, böylece genişletilmeden önce iyi bir şekilde değiştirildiler ve sertifika işlemeyi daha güvenli hale getirmek için çevreleyen aracı gözden geçirdikler.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
We are currently seeing elevated error rates for virtual desktop tests in the US-West-1 datacenter. We are currently investigating.
After taking remedial action, Virtual Desktop tests are starting successfully in the US-West-1 Data center. All services are fully operational. We are closely monitoring the situation
### **Dates:** Friday, August 7th 2026, 11:00 UTC - 13:04 UTC. ### **What happened:** Windows and Intel Mac jobs in `us-west1` failed to start due to virtual machine \(VM\) allocation starvation. ### **Why it happened:** A service crash loop left VMs in an allocated but unclaimed state, while a cleanup bug prevented the system from releasing the orphaned capacity to boot new VMs. ### **How we fixed it:** Restored service stability and cleared stale allocations to resume VM provisioning and clear queued jobs. ### **What we are doing to prevent it from happening again:** Fixing allocator cleanup logic, strengthening deployment health checks, and improving capacity accounting for stale allocations.
16 Temmuz 13:03 UTC ve 16 Temmuz 17:33 UTC arasında, çok bölüm yükleme protokolleri kullanan sembolün süreç başarısız olduğu bir hizmet kesintisi yaşadık. Olay çözüldü ve tüm hizmetler operasyonel.
### **Dates:** Thursday July 16th 2026, 13:03 – 17:33 UTC ### **What happened:** Symbol archives uploaded in multiple parts failed to process. All regions were affected. ### **Why it happened:** Our symbol processing service sent an upload-verification field that our cloud storage provider's API does not accept for multi-part uploads, so those uploads were rejected. A fix for this had already been developed, but it had not yet been included in a released build and the service was not configured to use it. As in the first incident, rejected uploads were retried and accumulated on local disk. ### **How we fixed it:** We deployed a build containing the fix and corrected the service configuration on the affected workers. A large backlog of uploads then processed, which briefly re-filled the disks before draining completely. ### **What we are doing to prevent it from happening again:** We are releasing the fix formally through our build pipeline and persisting the corrected configuration in our configuration management, so it can't be lost. The disk-utilization alerting added after the first incident also covers the disk-exhaustion pattern common to both.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
14 Temmuz 23:45 UTC ve 15 Temmuz 23:05 UTC arasında, sembolün geri çekilme projelerinin HTTP 400 hatalarıyla başarısız olduğu bir konu yaşadık. Olay çözüldü ve tüm hizmetler operasyonel.
### **Dates:** Tuesday July 14th 2026, 23:45 UTC – Wednesday July 15th 2026, 23:05 UTC ### **What happened:** Symbol archive uploads to Error Reporting \(Backtrace\) projects failed with HTTP 400 errors. All regions were affected. ### **Why it happened:** The credentials our symbol processing service used to write to cloud storage were no longer valid, so uploads could not be stored. Failed uploads were retried repeatedly and accumulated on local disk until the service ran out of space, at which point it also began rejecting new uploads. ### **How we fixed it:** We reissued the storage credentials, increased disk capacity on the affected workers, and restarted the service. The queued uploads then processed successfully, and we confirmed recovery with affected customers. ### **What we are doing to prevent it from happening again:** We've added disk-utilization monitoring and alerting to this service so we detect the condition ourselves before it affects uploads, rather than relying on customer reports.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
AB Merkez 1 veri merkezinde bir sorun yaşıyoruz, iOS ARM Simulator uygulaması testleri altyapı hatalarıyla başarısız oldu. araştırıyoruz.
App indirmeleri, bu altyapı hatalarının görüldüğünden daha uzun sürüyor. Araştırmaya devam ediyoruz.
Bu konu için bir düzeltme yaptık. Testler artık AB Merkez 1 veri merkezinde beklendiği gibi performans göstermelidir. İzlemeliyiz.
Daha fazla sorun için izlemeye devam ediyoruz.
Remedial eylemi yaptık ve durumu izlemekten sonra, iOS ARM uygulama testlerini EU Data Center'da beklendiği gibi görüyoruz. Tüm hizmetler tamamen operasyoneldir.
## **Dates:** 14 Temmuz 2026, 09:00 - 18:28 UTC ## ** Ne oldu:** AB veri merkezimizde çalışan iOS ARM testleri başarısız oldu. ## ** Neden oldu:** Bir hata AB veri merkezimizde birincil ağ sağlayıcımızla gerçekleşti. ## **Bunu nasıl düzelttik:** AB veri merkezimizden ikincil bir ağ sağlayıcısına geçemedik. ## ** Bunu tekrar gerçekleştirmeyi önlemek için ne yapıyoruz:** İzlememizi geliştirdik ve üçüncü parti ağ sağlayıcıları ile sorunları yakalamak için uyarılıyoruz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
17:02 UTC ve 21:31 UTC arasında 1 Temmuz'da, Mac 14 testleri ABD-Batı ve AB-Central veri merkezlerinde başlamadı. Bu konu çözüldü. Tüm hizmetler tamamen operasyoneldir.
### **Dates:** Wednesday July 1st 2026, 17:02 UTC - 21:31 UTC ### **What happened:** macOS 14 tests in the US West and EU Central data centers were unable to start. ### **Why it happened:** An internal datasource was unavailable due to a missing configuration entry. ### **How we fixed it:** The missing entry was replaced. ### **What we are doing to prevent it from happening again:** Safeguards have been put in place to prevent in-use datasource removal from configuration.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
ABD-West-1, EU-Central-1 ve ABD-Doğu-4 veri merkezlerine erişim konusunda bir sorun yaşıyoruz. araştırıyoruz.
Kök nedeni tespit ettik ve bu konu için bir düzeltme kurduk. Tüm hizmetler tamamen operasyoneldir.
## **Dates:** Çarşamba Temmuz 1st 2026, 09:37 - 12:46 UTC ## ** Ne oldu:** Gerçek cihaz canlı test seansları sırasında kullanılan Appium Inspector özelliği, planlanan bir UI dağıtımından sonra kullanılamaz hale geldi. Canlı bir test sırasında özelliği kullanmaya çalışan kullanıcılar, aktif test seanslarını kesintiye uğrattı. Otomatik test hatları etkilenmedi. ## ** Neden oldu:** Temel bir ön kütüphanenin rutin bir yükseltmesi Appium Inspector'un oluşturma mantığıyla bir uyumsuzluk tanıttı. Önceki kütüphane versiyonu deseni tolere etti, ancak güncellenmiş sürüm yapmadı. Sorun, bu özel özellik için yetersiz son test kapsamı nedeniyle dağıtımdan önce yakalanmadı. ## **Bunu nasıl düzelttik:** UI'yi hemen özelliği geri yüklemek için bilinen son iş versiyonuna geri döndük ve sonra incompatability için hedefli bir düzeltme dağıttık. ## ** Bunu tekrar gerçekleştirmeyi önlemek için ne yapıyoruz:** Appium Inspector özelliği için son test kapsamı ekliyoruz, gelecekteki dağıtımlardan önce otomatik olarak doğrulanır.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
24 Haziran'da 08:28 UTC ve 15:32 UTC arasında, ABD'de Appium ve Access API'sini etkileyen Real Device test seans başarısızlıklarını yaşadık. Bu konu çözüldü. Tüm hizmetler tamamen operasyoneldir.
## **Dates:** Çarşamba, 24 Haziran 2026, 09:42 UTC - 15:45 UTC. ## ** Ne oldu:** Appium ve Access API kullanarak gerçek cihaz test seansları ABD Doğu, ABD Batı ve AB veri merkezlerinde hata oranları arttı. Oturumlar yaklaşık 90 saniye sonra ya da "bağlantı" durumundan sonra zamanlanıyordu, onları kapalı olmaktan alıkoydu. ## ** Neden oldu:** Bir ürün hatası tanıtıldı, Real Device test seanslarına başlamak ve kapalı olmaktan aktif seansları önlemek için neden oldu. ## **Bunu nasıl düzelttik:** Sabit bir sürüme geri dön. ## ** Bunu tekrar gerçekleştirmeyi önlemek için ne yapıyoruz:** İzleme ve uyarılama ve posta dağıtımını doğrulamayı geliştirin.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Yaklaşık 3:51 AM UTC AB-Central veri merkezinde daha düşük iOS cihazı erişilebilirliği yaşamaya başladık. Ekibimiz aktif olarak kök nedenini araştırıyor ve bir karara doğru çalışıyor.
AB-Central-1 veri merkezimizde uygun olmayan cihazı deneyimliyoruz ve kök nedenini tespit ettik. Remedial aksiyon aldık ve şu anda izliyoruz.
Remedial aksiyon aldıktan sonra, AB-Central-1 veri merkezinde test için mevcut gerçek cihazlar görüyoruz. Tüm hizmetler tamamen operasyoneldir.
## **Dates:** Perşembe 18 2026, 03:45 UTC - 06:45 UTC. ## ** Ne oldu:** AB veri merkezimizdeki iOS cihazlarının yaklaşık% 7'si, onları raf barındırmasından sonra müşteri test seansları için geçici olarak kullanılamazdı. ## ** Neden oldu:** Etkilenen rafı besleme gücü kapasitesini aştı ve hattı korumak için koruyucu bir mola - devre restore olana kadar bu raftaki cihazlara güç kesmek. ## **Bunu nasıl düzelttik:** Etkilenen devre, rafa restore edildi ve cihazlara müşteri hizmetine geri döndü. ## ** Bunu tekrar gerçekleştirmeyi önlemek için ne yapıyoruz:** Etkilenen raflara güç yüklerini yeniden dağıtıyoruz, devre sınırları önünde erken savaş uyarıları ile kapasite izleme ve yeni cihazlardan önce kapasite incelemesi tanıtıyoruz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
We are experiencing an issue where the US-EAST data center is currently unavailable. We are investigating.
We are continuing to investigate this issue.
We have identified the root cause and are working on implementing a fix.
Access has been restored to the US-EAST data center. We are monitoring.
After taking remedial action, access to the US-EAST data center is fully restored. This incident is resolved.
### **Dates:** Monday, June 1st 2026, 13:06 UTC - 15:42 UTC. ### **What happened:** Customers served by the US-EAST-4 region were unable to authenticate or start new test sessions because an incomplete TLS certificate chain was deployed to the core directory services. ### **Why it happened:** A certificate extraction script defect silently truncated the certificate chain after the certificate authority transitioned to a longer hierarchy. ### **How we fixed it:** Reverted the certificate rotation and re-applied the previous known ,good certificate to restore authentication services. ### **What we are doing to prevent it from happening again:** Implementing pre-deployment certificate chain validation, adding active monitoring, and fixing the script's chain-length limitations.
Between May 13th 18:47 UTC and May 15th 9:23 UTC, we experienced test details not appearing in the dashboard of the US-East Data Center. This issue has been resolved. All services are fully operational.
### **Dates:** Wednesday, May 13th 2026, 18:47 UTC - Friday, May 15th 2026, 09:23 UTC. ### **What happened:** Customers were unable to access test run summaries for Real Device Cloud \(RDC\) jobs because events stopped publishing to the jobs Kafka topic in US-EAST. ### **Why it happened:** An authentication key used by the message producer unexpectedly lost its permissions during an account cleanup. ### **How we fixed it:** Manually restored the required permissions to re-establish the connection and resume service. ### **What we are doing to prevent it from happening again:** Migrating to a permanent service account, implementing a Dead Letter Queue \(DLQ\) for the jobs Kafka topic, and replaying the missing events to restore customer data.
Between April 23rd 22:44 and April 24th 15:25 UTC, there was a technical issue that affected video recordings for tests running on macOS 15 and iOS within our EU and US-West Data Center. We identified the issue and deployed a fix. All systems are now fully operational.
### **Dates:** Thursday, April 23rd 2026, 22:43 UTC - Friday, April 24th 2026, 15:29 UTC ### **What happened:** Video assets were missing for virtual iOS simulator tests on ARM and macOS ARM desktop tests in the US-West and EU data centers. ### **Why it happened:** A product defect was introduced resulting in a screen capture failure. ### **How we fixed it:** We performed a rollback to a stable version. ### **What we are doing to prevent it from happening again:** We are improving monitoring & alerting to enhance our post deployment validation.
