67 Sauce Labs incidents · listopad 2024 — official updates, affected components, duration and resolution details.
W dniu 13 października, między 05: 10 UTC a 05: 45 UTC, w centrum danych US- West-1 doświadczyliśmy podwyższonych wskaźników błędów dla VDC, RDC, Sauce Connect i IPSec. Sprawa została rozwiązana. Wszystkie usługi są teraz w pełni sprawne.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Mamy problem z UI Sauce Labs w centrum danych EU- Central-1. Prowadzimy śledztwo.
Nadal mamy problemy z UI Sauce Labs w centrum danych EU- Central-1. Kontynuujemy śledztwo.
Poczyniliśmy postępy w zawężaniu przyczyn bieżących problemów związanych z UI Sauce Labs w centrum danych EU- Central-1. Dochodzenie jest w toku.
Współpracujemy ściśle z dostawcami trzeciej partii w celu rozwiązania bieżącej kwestii w centrum danych EU- Central-1. Dochodzenie jest w toku.
Kontynuujemy współpracę z naszymi partnerami i odpowiednimi zespołami w celu zbadania i rozwiązania trwającego problemu w centrum danych EU- Central-1. Będziemy dzielić się dalszymi aktualizacjami w miarę dostępności większej ilości informacji.
Podstawowa przyczyna problemu wpływająca na nasz dostęp do UI w EU- Central-1 jest powiązana z trwającym incydentem z jednym z naszych dostawców infrastruktury trzeciej partii w centrum danych. Podczas gdy nasz zespół trzyma ten bilet za nami zamknięty, aktywnie śledzimy bieżące śledztwo dostawcy i będziemy uważnie monitorować wyniki.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Doświadczamy degradacji w połknięciu błędu w celu zgłaszania błędów (Backtrace) przy użyciu paska na Androidzie i Linuksie we wszystkich centrach danych. Prowadzimy śledztwo.
Nadal badamy tę kwestię.
Zidentyfikowano pierwotną przyczynę błędu podczas zgłaszania błędów (Backtrace). Zastosowano środki zaradcze i aktywnie monitorujemy sytuację.
Po podjęciu działań naprawczych, problem połknięcia błędu w raportowaniu błędów (Backtrace) został rozwiązany. Wszystkie usługi są w pełni sprawne.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obecnie w centrum danych EU- Central-1 obserwujemy podwyższone poziomy błędów dla testów rzeczywistych urządzeń. Prowadzimy śledztwo.
W centrum danych EU- Central-1 wskaźnik błędów w teście Real Device powrócił do normy. Wszystkie usługi są w pełni sprawne.
/ Daty: Środa, 30 września 2026, 09: 04 UTC - 10: 49 UTC. Co się stało? W centrum danych UE nie uruchomiono testów Real Device Automated, przy czym poziom błędów sięgnął 25%. * * * Why it happen: * * Wdrożenie doprowadziło do zwiększenia liczby brakujących pamięci podręcznej i zwiększenia obciążenia infrastruktury bazowej. Jak to naprawiliśmy? Usługa została przywrócona poprzez powrót do poprzedniej wersji. * * * What we are doing to do not it from happing again: * * Rozważane są alternatywne strategie buforowania w celu zwiększenia skuteczności pamięci podręcznej.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obecnie w centrum danych US- West-1 widzimy podwyższony poziom błędów w przypadku zautomatyzowanych testów rzeczywistych urządzeń. Prowadzimy śledztwo.
Zidentyfikowano główną przyczynę podwyższonych wskaźników błędów w testach Real Device w centrum danych US- West-1. Zastosowano środki zaradcze i aktywnie monitorujemy sytuację.
Po podjęciu działań naprawczych wskaźnik błędów w teście Real Device powrócił do normy w centrum danych US- West-1. Wszystkie usługi są w pełni sprawne.
/ Daty: Poniedziałek, 28 września 2026, 14: 19 UTC - 16: 52 UTC. Co się stało? Prawdziwe testy urządzeń w US West powieszono i nie udało się uzyskać artefakty testowe ze względu na powolne ładowanie. * * * Why it happen: * * Zdegradowane połączenie międzysieciowe doznało dużej utraty pakietów z powodu błędów optycznych, ale BGP nie ustąpiło, zapobiegając automatycznej awarii na zdrowe ścieżki. Jak to naprawiliśmy? Ręcznie wyłączył zdegradowany port na routerze krawędzi, zmuszając ruch do zdrowych alternatywnych połączeń. * * * What we are doing to do not it from happing again: * * Automatyczne opróżnianie łącza w oparciu o progi błędów CRC, ulepszanie protokołów izolowania łączników ze sprzedawcami i twardnienie odporności wysyłania.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Między 12: 05 UTC a 12: 35 UTC, doświadczyliśmy wysokiego poziomu błędu i dłuższych okresów rozpoczęcia sesji dla testów na pulpicie i urządzeniach wirtualnych w centrum danych US- West-1. Sprawa została rozwiązana. Wszystkie usługi są w pełni sprawne.
### **Dates:** Wednesday, September 23rd 2026, 12:05 UTC - 12:35 UTC. ### **What happened:** Virtual Device Cloud testing availability gradually decreased in the US-West-1 data center. ### **Why it happened:** A product defect was introduced causing Virtual Device Cloud testing sessions to fail to start. ### **How we fixed it:** Rollback to a stable version. ### **What we are doing to prevent it from happening again:** Strengthen pre-deployment validation and reassess configuration rollout strategies.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Między 09: 52 UTC a 10: 34 UTC, wiele usług Sauce Labs w US- West centrum danych doświadczyło awarii, powodując błędy uwierzytelniania i zakłócenia funkcji testowych. Wszystkie systemy są w pełni sprawne.
/ Daty: Środa, 16 września 2026, 09: 51 UTC - 10: 35 UTC. Co się stało? W centrum danych US- West-1 stopniowo zmniejszała się dostępność wielu usług w zakresie sauce Labs. Usługi, na które wpłynął wniosek, obejmowały: * Uwierzytelnianie\ (sign- in, SSO, istniejące sesje i sign- up\) * Wirtualne urządzenie Cloud\ (VDC\) * Prawdziwe urządzenie Cloud\ (RDC\) * Sauce Connect * REST API * Przechowywanie aplikacji * Insights * Sos wizualny * Kompozytor testowy * Zarządzanie użytkownikami i zespołami * Billing Plans and Usage API * * * Why it happen: * * Wprowadzenie usługi uwierzytelniania wywołało niespodziewany wzrost połączeń z bazą danych, powodując awarie uwierzytelniania i zakłócając wiele usług Sauce Labs. Jak to naprawiliśmy? Przywrócił dotknięty węzeł bazy danych. * * * What we are doing to do not it from happing again: * * Poprawa strategii wdrażania, zarządzanie cyklem życia połączeń, mechanizmy przezwyciężania awarii oraz reagowanie na badania lekarskie.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
W centrum danych EU- Central-1 widzimy podwyższony poziom błędów w testach Real Device. Prowadzimy śledztwo.
Zidentyfikowano podstawową przyczynę podwyższonych wskaźników błędów dla testów Real Device w centrum danych EU- Central-1. Zastosowano środki zaradcze i aktywnie monitorujemy sytuację.
Po podjęciu działań zaradczych, wskaźnik błędów w teście Real Device powrócił do normy w centrum danych EU- Central-1. Wszystkie usługi są w pełni sprawne.
* * Daty: * * Środa, 2 września 2026, 08: 30 UTC - 11: 15 UTC. Co się stało? Testy zautomatyzowanego urządzenia Real Device nie rozpoczęły się w centralnym centrum danych UE, przy czym podwyższony poziom błędów osiągnął prawie 100% w krótkim czasie. * * * Why it happen: * * Wdrożenie doprowadziło do zwiększenia liczby brakujących pamięci podręcznej i zwiększenia obciążenia infrastruktury bazowej. Jak to naprawiliśmy? Usługa została przywrócona poprzez ponowne uruchomienie aplikacji. * * * What we are doing to do not it from happing again: * * Dodatkowe środki zostały przydzielone w celu zmniejszenia prawdopodobieństwa ponownego wystąpienia w krótkim okresie. W dłuższej perspektywie zoptymalizujemy realizację zadań wymagających zasobów i wprowadzamy dynamiczny skalowanie.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obecnie w centrum danych US- West-1 obserwujemy podwyższony poziom błędów w testach na macOS i iOS. Prowadzimy śledztwo.
Po podjęciu działań zaradczych wszystkie testy w systemie Mac OS i iOS są obecnie wykonywane zgodnie z oczekiwaniami w centrum danych US- West-1. Wszystkie usługi są w pełni sprawne.
/ Daty: Wtorek 25 sierpnia 2026, 11: 38 - 13: 10 UTC Co się stało? Klienci przeprowadzający testy na macOS i iOS w naszym regionie US- West doświadczyli zdegradowanej usługi. Około 50% wirtualnej pojemności Mac w regionie przestało przyjmować nowe testy, więc testy albo w kolejce lub nie rozpoczęły się. Pozostała pojemność była pod dodatkowym naciskiem podczas przesuwania prac na nią, co wydłużało czas startu zarówno dla testów na pulpicie jak i symulatorze. * * * Why it happen: * * Wewnętrzny certyfikat bezpieczeństwa używany przez naszych Mac hostów w celu osiągnięcia usługi wspierającej chmurę osiągnął jej datę ważności. Po jej wygaśnięciu, gospodarze nie mogli już ustanowić zaufanego połączenia z tą usługą i zaprzestali dostarczania nowych maszyn testowych. Certyfikat został wydany ręcznie i nie miał automatycznego odnowienia ani ostrzeżenia o wygaśnięciu. Jak to naprawiliśmy? Wydaliśmy i uruchomiliśmy certyfikat zastępczy, który przywrócił łączność i przywrócił pojemność Mac do normalnego poziomu. * * * What we are doing to do not it from happing again: * * Przenosimy te certyfikaty na automatyczną odnowę i dodamy ostrzeżenie, tak aby zostały one zastąpione znacznie przed wygaśnięciem, wraz z przeglądem otaczającego oprzyrządowania w celu zapewnienia bezpieczniejszej obsługi certyfikatu.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
We are currently seeing elevated error rates for virtual desktop tests in the US-West-1 datacenter. We are currently investigating.
After taking remedial action, Virtual Desktop tests are starting successfully in the US-West-1 Data center. All services are fully operational. We are closely monitoring the situation
### **Dates:** Friday, August 7th 2026, 11:00 UTC - 13:04 UTC. ### **What happened:** Windows and Intel Mac jobs in `us-west1` failed to start due to virtual machine \(VM\) allocation starvation. ### **Why it happened:** A service crash loop left VMs in an allocated but unclaimed state, while a cleanup bug prevented the system from releasing the orphaned capacity to boot new VMs. ### **How we fixed it:** Restored service stability and cleared stale allocations to resume VM provisioning and clear queued jobs. ### **What we are doing to prevent it from happening again:** Fixing allocator cleanup logic, strengthening deployment health checks, and improving capacity accounting for stale allocations.
Między 16 lipca 13: 03 UTC a 16 lipca 17: 33 UTC, doświadczyliśmy zakłóceń w obsłudze, w których archiwa symboli wykorzystujące wieloczęściowe protokoły przesyłania nie przetworzyły się. Incydent został rozwiązany i wszystkie usługi są operacyjne.
### **Dates:** Thursday July 16th 2026, 13:03 – 17:33 UTC ### **What happened:** Symbol archives uploaded in multiple parts failed to process. All regions were affected. ### **Why it happened:** Our symbol processing service sent an upload-verification field that our cloud storage provider's API does not accept for multi-part uploads, so those uploads were rejected. A fix for this had already been developed, but it had not yet been included in a released build and the service was not configured to use it. As in the first incident, rejected uploads were retried and accumulated on local disk. ### **How we fixed it:** We deployed a build containing the fix and corrected the service configuration on the affected workers. A large backlog of uploads then processed, which briefly re-filled the disks before draining completely. ### **What we are doing to prevent it from happening again:** We are releasing the fix formally through our build pipeline and persisting the corrected configuration in our configuration management, so it can't be lost. The disk-utilization alerting added after the first incident also covers the disk-exhaustion pattern common to both.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Między 14 lipca 23: 45 UTC a 15 lipca 23: 05 UTC, doświadczyliśmy problemu, w którym archiwa symboli przesyłane do Backtrace projektów nie powiodły się z błędami HTTP 400. Incydent został rozwiązany i wszystkie usługi są operacyjne.
### **Dates:** Tuesday July 14th 2026, 23:45 UTC – Wednesday July 15th 2026, 23:05 UTC ### **What happened:** Symbol archive uploads to Error Reporting \(Backtrace\) projects failed with HTTP 400 errors. All regions were affected. ### **Why it happened:** The credentials our symbol processing service used to write to cloud storage were no longer valid, so uploads could not be stored. Failed uploads were retried repeatedly and accumulated on local disk until the service ran out of space, at which point it also began rejecting new uploads. ### **How we fixed it:** We reissued the storage credentials, increased disk capacity on the affected workers, and restarted the service. The queued uploads then processed successfully, and we confirmed recovery with affected customers. ### **What we are doing to prevent it from happening again:** We've added disk-utilization monitoring and alerting to this service so we detect the condition ourselves before it affects uploads, rather than relying on customer reports.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Mamy do czynienia z problemem w centrum danych EU Central 1, gdzie testy aplikacji iOS ARM Simulator nie powiodły się z błędami infrastrukturalnymi. Prowadzimy śledztwo.
Pobieranie aplikacji trwa dłużej niż się spodziewano, gdy widoczne są błędy w infrastrukturze. Kontynuujemy śledztwo.
Zastosowaliśmy rozwiązanie tego problemu. Obecnie badania powinny być przeprowadzane zgodnie z oczekiwaniami w centrum danych UE Central 1. Monitorujemy.
Nadal monitorujemy wszelkie dalsze problemy.
Po podjęciu działań naprawczych i monitorowaniu sytuacji, widzimy testy aplikacji iOS ARM wykonywane zgodnie z oczekiwaniami w Centrum Danych UE. Wszystkie usługi są w pełni sprawne.
/ Daty: Wtorek 14 lipca 2026, 09: 00 - 18: 28 UTC Co się stało? Testy iOS ARM prowadzone w naszym centrum danych UE nie powiodły się. * * * Why it happen: * * Wystąpił błąd z naszym głównym dostawcą sieci w naszym centrum danych UE. Jak to naprawiliśmy? Zawiodliśmy drugorzędnego dostawcę sieci z naszego unijnego centrum danych. * * * What we are doing to do not it from happing again: * * Ulepszyliśmy nasze monitorowanie i ostrzegamy o problemach z dostawcami sieci osób trzecich.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
1 lipca między 17: 02 UTC a 21: 31 UTC nie rozpoczęły się testy MAKOS 14 w centrach danych USA-Zachód i UE-Central. Kwestia ta została rozwiązana. Wszystkie usługi są w pełni sprawne.
/ Daty: Środa 1 lipca 2026, 17: 02 UTC - 21: 31 UTC Co się stało? MacOS 14 testów w amerykańskich centrach danych Zachodu i UE nie były w stanie rozpocząć. * * * Why it happen: * * Wewnętrzne dane były niedostępne ze względu na brak konfiguracji. Jak to naprawiliśmy? Brak wpisu został zastąpiony. * * * What we are doing to do not it from happing again: * * Wprowadzono zabezpieczenia zapobiegające usuwaniu danych z konfiguracji.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Mamy problem z dostępem do Inspektora Appium w centrach danych US- West-1, EU- Central-1 i US- East- 4. Prowadzimy śledztwo.
Zidentyfikowaliśmy przyczynę i wprowadziliśmy rozwiązanie tej kwestii. Wszystkie usługi są w pełni sprawne.
/ Daty: Środa 1 lipca 2026, 09: 37 - 12: 46 UTC Co się stało? Funkcja Inspektora Appium, używana podczas prawdziwych sesji testowych na żywo, stała się niedostępna po planowanym wdrożeniu interfejsu użytkownika. Użytkownicy, którzy próbowali skorzystać z tej funkcji podczas testu na żywo, popełnili błąd 500, zakłócając ich aktywną sesję testową. Automatyczne rurociągi testowe nie zostały naruszone. * * * Why it happen: * * Rutynowa modernizacja podstawowej biblioteki frontend wprowadziła niezgodność z logiką renderowania inspektora Appium. Poprzednia wersja biblioteki tolerowała wzór, ale zaktualizowana wersja nie. Kwestia ta nie została wykryta przed wdrożeniem z powodu niewystarczającego pokrycia testu końcowego dla tej specyfiki. Jak to naprawiliśmy? Cofnęliśmy UI do ostatniej znanej wersji roboczej, aby natychmiast przywrócić funkcję, a następnie wdrożyliśmy ukierunkowane rozwiązanie dla niezgodności. * * * What we are doing to do not it from happing again: * * Dodajemy pokrycie testowe end-to@-@ end dla funkcji Inspektora Appium, aby upewnić się, że jest on zatwierdzany automatycznie przed wdrożeniem w przyszłości.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
24 czerwca, między 08: 28 UTC a 15: 32 UTC, doświadczyliśmy błędów sesji testowych Real Device wpływających na Appium i Access API w amerykańskich centrach danych Wschodu, USA Zachodu i UE. Kwestia ta została rozwiązana. Wszystkie usługi są w pełni sprawne.
/ Daty: Środa, 24 czerwca 2026, 09: 42 UTC - 15: 45 UTC. Co się stało? Sesje testowe Real Device przy użyciu API Appium i Access doświadczyły zwiększonego poziomu błędów w amerykańskich centrach danych na wschodzie, na zachodzie USA i w UE. Sesje trwały w czasie po około 90 sekundach lub utknęły w stanie "Connecting", uniemożliwiając ich zamknięcie. * * * Why it happen: * * Wprowadzono defekt produktu powodujący, że sesje testowe Real Device nie rozpoczęły się i uniemożliwiały zamknięcie aktywnych sesji. Jak to naprawiliśmy? Powrót do stabilnej wersji. * * * What we are doing to do not it from happing again: * * Poprawa monitorowania i ostrzegania oraz poprawa walidacji po wdrożeniu.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Około 3: 51 AM UTC zaczęliśmy doświadczać niższej dostępności urządzenia iOS w centrum danych EU- Central. Nasz zespół aktywnie bada przyczynę i pracuje nad rozwiązaniem.
Doświadczyliśmy niedostępności urządzenia w naszym centrum danych EU- Central-1 i zidentyfikowaliśmy przyczynę. Podjęliśmy działania naprawcze i obecnie monitorujemy.
Po podjęciu działań naprawczych, widzimy teraz prawdziwe urządzenia dostępne do testowania w centrum danych EU- Central-1. Wszystkie usługi są w pełni sprawne.
/ Daty: Czwartek 18 czerwca 2026, 03: 45 UTC - 06: 45 UTC. Co się stało? Około 7% urządzeń z systemem iOS w naszym unijnym centrum danych było tymczasowo niedostępnych na sesjach testowych dla klientów po utracie mocy przez hosting ich stojaka. * * * Why it happen: * * Obwód zasilania zasilający dotknięty stojak przekroczył jego pojemność, a wyłącznik ochronny przełączył się w celu zabezpieczenia linii - mocy cięcia do urządzeń na stojaku do czasu przywrócenia obwodu. Jak to naprawiliśmy? Zagrożony obwód został zresetowany i zasilanie przywrócone do stojaka, zwracając urządzenia do obsługi klienta. * * * What we are doing to do not it from happing again: * * Redystrybuujemy obciążenie energetyczne w obrębie dotkniętych stojaków, dodając monitorowanie wydajności z ostrzeżeniami ostrzegającymi przed ograniczeniami obwodów i wprowadzając przegląd wydajności przed umieszczeniem nowych urządzeń na stojaku.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
We are experiencing an issue where the US-EAST data center is currently unavailable. We are investigating.
We are continuing to investigate this issue.
We have identified the root cause and are working on implementing a fix.
Access has been restored to the US-EAST data center. We are monitoring.
After taking remedial action, access to the US-EAST data center is fully restored. This incident is resolved.
### **Dates:** Monday, June 1st 2026, 13:06 UTC - 15:42 UTC. ### **What happened:** Customers served by the US-EAST-4 region were unable to authenticate or start new test sessions because an incomplete TLS certificate chain was deployed to the core directory services. ### **Why it happened:** A certificate extraction script defect silently truncated the certificate chain after the certificate authority transitioned to a longer hierarchy. ### **How we fixed it:** Reverted the certificate rotation and re-applied the previous known ,good certificate to restore authentication services. ### **What we are doing to prevent it from happening again:** Implementing pre-deployment certificate chain validation, adding active monitoring, and fixing the script's chain-length limitations.
Between May 13th 18:47 UTC and May 15th 9:23 UTC, we experienced test details not appearing in the dashboard of the US-East Data Center. This issue has been resolved. All services are fully operational.
### **Dates:** Wednesday, May 13th 2026, 18:47 UTC - Friday, May 15th 2026, 09:23 UTC. ### **What happened:** Customers were unable to access test run summaries for Real Device Cloud \(RDC\) jobs because events stopped publishing to the jobs Kafka topic in US-EAST. ### **Why it happened:** An authentication key used by the message producer unexpectedly lost its permissions during an account cleanup. ### **How we fixed it:** Manually restored the required permissions to re-establish the connection and resume service. ### **What we are doing to prevent it from happening again:** Migrating to a permanent service account, implementing a Dead Letter Queue \(DLQ\) for the jobs Kafka topic, and replaying the missing events to restore customer data.
Between April 23rd 22:44 and April 24th 15:25 UTC, there was a technical issue that affected video recordings for tests running on macOS 15 and iOS within our EU and US-West Data Center. We identified the issue and deployed a fix. All systems are now fully operational.
### **Dates:** Thursday, April 23rd 2026, 22:43 UTC - Friday, April 24th 2026, 15:29 UTC ### **What happened:** Video assets were missing for virtual iOS simulator tests on ARM and macOS ARM desktop tests in the US-West and EU data centers. ### **Why it happened:** A product defect was introduced resulting in a screen capture failure. ### **How we fixed it:** We performed a rollback to a stable version. ### **What we are doing to prevent it from happening again:** We are improving monitoring & alerting to enhance our post deployment validation.
