67 Sauce Labs incidents · 2024년 11월 — official updates, affected components, duration and resolution details.
10월 13일, UTC와 05:45 UTC 사이, 우리는 미국 서부 1 데이터 센터에서 VDC, RDC, 소스 연결 및 IPSec 서비스에 대한 오류율을 경험했습니다. 문제는 해결되었습니다. 모든 서비스는 이제 완전히 운영됩니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 EU-Central-1 데이터 센터의 소스 랩 UI와 문제가 있습니다. 우리는 투자입니다.
우리는 여전히 EU-Central-1 데이터 센터의 소스 랩 UI와 문제가 있습니다. 우리는 조사를 계속하고 있습니다.
EU-Central-1 데이터 센터의 지속적인 소스 랩 UI 문제의 원인을 축소하여 진행했습니다. 조사는 진행 중입니다.
우리는 EU-Central-1 데이터 센터의 지속적인 문제를 해결하기 위해 타사 제공 업체와 긴밀하게 협력하고 있습니다. 조사는 진행 중입니다.
우리는 EU-Central-1 데이터 센터의 지속적인 문제점을 조사하고 해결하기 위해 파트너 및 관련 팀과 함께 일하고 있습니다. 더 많은 정보로 업데이트를 공유합니다.
EU-Central-1의 UI 액세스에 영향을 미치는 문제의 뿌리 원인은 데이터 센터의 타사 인프라 제공 업체 중 하나와 지속적인 사건에 묶습니다. 우리의 팀은 우리의 끝에 닫히는 이 사건 표를 지키고 있는 동안, 우리는 적극적으로 공급자의 지속적인 조사를 추적하고 성과를 밀접하게 감시할 것입니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 모든 데이터 센터의 Android 및 Linux에서 충돌 패드를 사용하여 오류 발생 (Backtrace)에 대한 오류 ingestion의 분해를 경험하고 있습니다. 현재 투자하고 있습니다.
이 문제를 조사하고 있습니다.
Error Reporting (Backtrace)의 오류 ingestion의 뿌리 원인은 식별되었습니다. 치료는 적용되고, 우리는 적극적으로 상황을 모니터링하고 있습니다.
구제 작업을 수행 한 후 오류 ingestion 문제 (Backtrace)가 해결되었습니다. 모든 서비스는 완전히 운영됩니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재 EU-Central-1 데이터 센터의 실제 장치 테스트에 대한 높은 오류율을보고 있습니다. 우리는 투자입니다.
Real Device 테스트 오류율은 EU-Central-1 데이터 센터에서 정상으로 돌아 왔습니다. 모든 서비스는 완전히 운영됩니다.
##**일시:** 수요일, 9월 30th 2026, 09:04 UTC - 10:49 UTC. ###** 일어난 일:** Real Device Automated Tests는 EU Central 데이터 센터에서 시작하여 최대 25%의 오류율에 도달했습니다. # # # ** 일어난 일 : ** 배치는 캐시를 증가시키고 하향 인프라에로드를 높였습니다. # # # ** 우리가 그것을 고정하는 방법 : ** 서비스는 이전 버전으로 돌아올 때 복원되었습니다. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** 대체 캐싱 전략은 캐시의 효과를 증가시키는 것으로 간주됩니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재 미국-웨스트-1 데이터 센터의 자동화된 실제 장치 테스트에 대한 높은 오류율을 보였습니다. 현재 투자하고 있습니다.
US-West-1 데이터 센터의 Real Device 테스트의 높은 오류율의 뿌리 원인은 확인되었습니다. 치료는 적용되고, 우리는 적극적으로 상황을 모니터링하고 있습니다.
재약작동을 복용한 후, Real Device Test Error Rate는 US-West-1 데이터 센터에서 정상으로 돌아 왔습니다. 모든 서비스는 완전히 운영됩니다.
##**일시:** 월요일, 9월 28일 2026, 14:19 UTC - 16:52 UTC. ###** 일어난 일:** 미국 서부의 실제 장치 테스트는 느린 업로드로 인해 출력 테스트 artifacts에 실패했습니다. # # # ** 일어난 일 : ** 고급 인터커넥트 링크는 광학 오류에서 높은 패킷 손실을 겪었지만, BGP는 자동 장애를 건강한 경로로 방지합니다. # # # ** 우리가 그것을 고정하는 방법 : ** 수동으로는 가장자리 대패에 degraded 항구, 건강한 교체한 상호 연결에 소통량을 강제. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** CRC 오류 임계값을 기반으로하는 자동 연결 배수, 이송 공급 업체 링크를 위한 프로토콜을 개선, 업로드 탄력 강화.
공식 인시던트 업데이트를 자동 번역했습니다.
12:05 UTC와 12:35 UTC 사이, 우리는 높은 오류율과 더 긴 세션은 미국 - 웨스트 1 데이터 센터의 데스크탑 및 가상 장치 테스트에 대한 시간을 시작합니다. 문제는 해결되었습니다. 모든 서비스는 완전히 운영됩니다.
### **Dates:** Wednesday, September 23rd 2026, 12:05 UTC - 12:35 UTC. ### **What happened:** Virtual Device Cloud testing availability gradually decreased in the US-West-1 data center. ### **Why it happened:** A product defect was introduced causing Virtual Device Cloud testing sessions to fail to start. ### **How we fixed it:** Rollback to a stable version. ### **What we are doing to prevent it from happening again:** Strengthen pre-deployment validation and reassess configuration rollout strategies.
공식 인시던트 업데이트를 자동 번역했습니다.
09:52 UTC와 10:34 UTC 사이, 미국-서부 데이터 센터의 여러 소스 연구소 서비스는 정전을 경험하고, 인증 실패와 중단을 테스트 기능에. 모든 시스템은 이제 완전히 운영됩니다.
##**일시:** 수요일, 9월 16th 2026, 09:51 UTC - 10:35 UTC. ###** 일어난 일:** Multiple Sauce Labs 서비스 가용성은 US-West-1 데이터 센터에서 점차 감소했습니다. 포함 된 영향을받는 서비스 : * 인증 \(sign-in, SSO, 기존 세션 및 Sign-up\) * 가상 장치 구름 \ (VDC \) * 실제 디바이스 클라우드 \(RDC\) * 소스 연결 * 등급 API * 앱 저장 * 통찰력 * 소스 시각 * 시험 Composer * 사용자 및 팀 관리 * 빌링 플랜 및 사용 API # # # ** 일어난 일 : ** 인증 서비스 배포는 데이터베이스 연결에서 예기치 않은 큰 파도를 방아쇠, 인증 실패 및 여러 소스 연구소 서비스를 중단. # # # ** 우리가 그것을 고정하는 방법 : ** 영향을받는 데이터베이스 노드를 재시작합니다. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** 롤아웃 전략, 연결 수명주기 관리, 실패 메커니즘 및 건강 검사 응답을 향상시킵니다.
공식 인시던트 업데이트를 자동 번역했습니다.
EU-Central-1 데이터 센터의 Real Device 테스트에 대한 높은 오류율을 볼 수 있습니다. 우리는 투자입니다.
EU-Central-1 데이터 센터의 Real Device 테스트에 대한 높은 오류율의 뿌리 원인은 확인되었습니다. 치료는 적용되고, 우리는 적극적으로 상황을 모니터링하고 있습니다.
치료 활동을 복용 한 후 Real Device 시험 오류율은 EU-Central-1 데이터 센터에서 정상으로 돌아 왔습니다. 모든 서비스는 완전히 운영됩니다.
**일시:** 9월 2일 수요일 2026, 08:30 UTC - 11:15 UTC. ###** 일어난 일:** Real Device Automated Tests는 EU 중앙 데이터 센터에서 시작하여 짧은 기간 동안 거의 100 %에 도달하는 높은 오류율이 있습니다. # # # ** 일어난 일 : ** 배치는 캐시를 증가시키고 하향 인프라에로드를 높였습니다. # # # ** 우리가 그것을 고정하는 방법 : ** 서비스가 재시작하여 복원되었습니다. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** 추가 리소스는 짧은 기간에 재발생을 줄이기 위해 할당되었습니다. 장기적으로 자원 집중 작업의 성능을 최적화하고 동적 스케일링을 소개합니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재 미국-웨스트-1 데이터 센터의 macOS 및 iOS 테스트에 대한 높은 오류율을보고 있습니다. 현재 투자하고 있습니다.
치료 활동을 복용 한 후, 모든 macOS 및 iOS 테스트는 이제 US-West-1 Data Center에서 예상대로 수행됩니다. 모든 서비스는 완전히 운영됩니다.
##**일시:** 화요일 8월 25th 2026, 11:38 – 13:10 UTC ###** 일어난 일:** macOS 및 iOS 테스트를 실행하는 고객은 미국-서부 지역의 숙련 된 서비스에서 테스트합니다. 지역에있는 가상 Mac 용량의 50 %는 새로운 테스트를 받아 들일 수 있으므로 시작해야하거나 실패합니다. Remaining 용량은 데스크톱 및 시뮬레이터 테스트를 위해 확장 된 시작 시간으로 작업으로 추가 압력 아래왔다. # # # ** 일어난 일 : ** Mac에서 사용하는 내부 보안 인증서는 지원 클라우드 서비스에 도달 할 수 있습니다 만료 날짜. 그 후, 호스트는 더 이상 그 서비스에 대한 신뢰할 수있는 연결을 설정하고 새로운 테스트 기계를 중단 할 수 없습니다. 인증서는 수동으로 발행되었으며 자동화 된 갱신 또는 만료되지 않았습니다. # # # ** 우리가 그것을 고정하는 방법 : ** 우리는 연결성을 복원하고 정상 수준으로 Mac 용량을 반환하는 교체 인증서를 발행하고 배포했습니다. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** 우리는 자동화 된 갱신에 이러한 인증서를 이동하고 경고를 추가하므로 Expiry보다 잘 교체됩니다. 주변 도구 검토와 함께 인증서를 안전하게 처리 할 수 있습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
We are currently seeing elevated error rates for virtual desktop tests in the US-West-1 datacenter. We are currently investigating.
After taking remedial action, Virtual Desktop tests are starting successfully in the US-West-1 Data center. All services are fully operational. We are closely monitoring the situation
### **Dates:** Friday, August 7th 2026, 11:00 UTC - 13:04 UTC. ### **What happened:** Windows and Intel Mac jobs in `us-west1` failed to start due to virtual machine \(VM\) allocation starvation. ### **Why it happened:** A service crash loop left VMs in an allocated but unclaimed state, while a cleanup bug prevented the system from releasing the orphaned capacity to boot new VMs. ### **How we fixed it:** Restored service stability and cleared stale allocations to resume VM provisioning and clear queued jobs. ### **What we are doing to prevent it from happening again:** Fixing allocator cleanup logic, strengthening deployment health checks, and improving capacity accounting for stale allocations.
7월 16일 13:03 UTC와 7월 16일 17:33 UTC 사이, 우리는 멀티 파트 업로드 프로토콜을 사용하여 기호 아카이브가 프로세스에 실패한 서비스를 경험. Incident는 해결되고 모든 서비스는 운영됩니다.
### **Dates:** Thursday July 16th 2026, 13:03 – 17:33 UTC ### **What happened:** Symbol archives uploaded in multiple parts failed to process. All regions were affected. ### **Why it happened:** Our symbol processing service sent an upload-verification field that our cloud storage provider's API does not accept for multi-part uploads, so those uploads were rejected. A fix for this had already been developed, but it had not yet been included in a released build and the service was not configured to use it. As in the first incident, rejected uploads were retried and accumulated on local disk. ### **How we fixed it:** We deployed a build containing the fix and corrected the service configuration on the affected workers. A large backlog of uploads then processed, which briefly re-filled the disks before draining completely. ### **What we are doing to prevent it from happening again:** We are releasing the fix formally through our build pipeline and persisting the corrected configuration in our configuration management, so it can't be lost. The disk-utilization alerting added after the first incident also covers the disk-exhaustion pattern common to both.
공식 인시던트 업데이트를 자동 번역했습니다.
7월 14일 23:45 UTC와 7월 15일 23:05 UTC 사이, 우리는 HTTP 400 오류로 인해 백트레이스 프로젝트에 심포지티브 업로드가 실패한 문제를 경험했습니다. Incident는 해결되고 모든 서비스는 운영됩니다.
### **Dates:** Tuesday July 14th 2026, 23:45 UTC – Wednesday July 15th 2026, 23:05 UTC ### **What happened:** Symbol archive uploads to Error Reporting \(Backtrace\) projects failed with HTTP 400 errors. All regions were affected. ### **Why it happened:** The credentials our symbol processing service used to write to cloud storage were no longer valid, so uploads could not be stored. Failed uploads were retried repeatedly and accumulated on local disk until the service ran out of space, at which point it also began rejecting new uploads. ### **How we fixed it:** We reissued the storage credentials, increased disk capacity on the affected workers, and restarted the service. The queued uploads then processed successfully, and we confirmed recovery with affected customers. ### **What we are doing to prevent it from happening again:** We've added disk-utilization monitoring and alerting to this service so we detect the condition ourselves before it affects uploads, rather than relying on customer reports.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 EU Central 1 데이터 센터의 문제점을 경험하고 있습니다. iOS ARM Simulator 앱 테스트는 인프라 오류로 실패합니다. 우리는 투자입니다.
앱 다운로드는 이러한 인프라 오류가 볼 때 예상보다 더 오래 걸릴 것입니다. 우리는 조사를 계속하고 있습니다.
우리는이 문제에 대한 수정을 배포했습니다. 테스트는 EU Central 1 데이터 센터에서 예상대로 수행해야합니다. 우리는 감시하고 있습니다.
우리는 더 많은 문제를 모니터링하고 있습니다.
치료 활동을 수행하고 상황을 모니터링 한 후, 우리는 iOS ARM 애플리케이션 테스트가 EU Data Center에서 예상대로 수행됩니다. 모든 서비스는 완전히 운영됩니다.
##**일시:** 화요일 7월 14일 2026, 09:00 - 18:28 UTC ###** 일어난 일:** 우리의 EU 데이터 센터에서 실행되는 iOS ARM 테스트가 실패했습니다. # # # ** 일어난 일 : ** 결함은 우리의 EU 자료 센터에 있는 우리의 1 차적인 네트워크 공급자로 일어났습니다. # # # ** 우리가 그것을 고정하는 방법 : ** 우리는 우리의 EU 자료 센터에서 이차 네트워크 공급자에 실패했습니다. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** 우리는 제 3 자 네트워크 제공 업체와 문제를 잡기 위해 모니터링 및 경고를 개선했습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
7월 1일 17:02 UTC와 21:31 UTC 사이, macOS 14 테스트는 미국-서부 및 EU-중앙 데이터 센터에서 시작할 수 없었습니다. 이 문제는 해결되었습니다. 모든 서비스는 완전히 운영됩니다.
##**일시:** 수요일 7월 1st 2026, 17:02 UTC - 21:31 UTC ###** 일어난 일:** 미국 서부와 EU 중앙 데이터 센터의 macOS 14 테스트는 시작할 수 없습니다. # # # ** 일어난 일 : ** 내부 데이터 소스는 누락 된 구성 항목으로 사용할 수 없습니다. # # # ** 우리가 그것을 고정하는 방법 : ** 누락 된 항목이 교체되었습니다. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** Safeguard는 구성에서 사용 데이터 소스 제거를 방지하기 위해 배치되었습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 미국-서부-1, EU-중앙-1 및 US-East-4 데이터 센터의 Appium Inspector에 액세스하는 문제가 있습니다. 우리는 투자입니다.
우리는 루트 원인을 확인하고이 문제에 대한 수정을 배포했습니다. 모든 서비스는 완전히 운영됩니다.
##**일시:** 수요일 7월 1st 2026, 09:37 – 12:46 UTC ###** 일어난 일:** Appium Inspector 기능, 실제 장치 라이브 테스트 세션에서 사용, 예정된 UI 배포 후 사용할 수 없습니다. 실제 테스트 중에 기능을 사용하려고 시도한 사용자는 500 오류로 발표되어 활성 테스트 세션을 중단했습니다. 자동화된 시험 파이프라인은 영향을 미치지 않았습니다. # # # ** 일어난 일 : ** 핵심 frontend 라이브러리의 일상 업그레이드는 Appium Inspector의 렌더링 논리와 호환성을 도입했습니다. 이전 라이브러리 버전은 패턴을 허용하지만 업데이트 된 버전은하지 않았다. 문제점은 이 특정한 특징을 위한 충분한 end-to-end 시험 적용 때문에 배치의 앞에 붙잡지 않았습니다. # # # ** 우리가 그것을 고정하는 방법 : ** 우리는 UI를 마지막 알려진 작업 버전으로 다시 회전하여 기능을 즉시 복원하고 그 다음 호환성에 대한 대상 수정을 배포했습니다. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** Appium Inspector 기능에 대한 엔드 투 엔드 테스트 적용을 추가하여 향후 배포 전에 자동으로 검증됩니다.
공식 인시던트 업데이트를 자동 번역했습니다.
6월 24일 사이에 08:28 UTC 및 15:32 UTC, 우리는 미국 동부, 미국 서부 및 EU 데이터 센터에 대한 Appium 및 Access API에 영향을 미치는 실제 장치 테스트 세션 실패를 경험했습니다. 이 문제는 해결되었습니다. 모든 서비스는 완전히 운영됩니다.
##**일시:** 수요일, 6월 24th 2026, 09:42 UTC - 15:45 UTC. ###** 일어난 일:** Appium 및 Access API를 사용하여 실제 장치 테스트 세션은 미국 동부, 미국 서부 및 EU 데이터 센터의 오류율을 경험했습니다. 세션은 약 90 초 후에 타이밍되었거나 "연결" 상태에 붙어있었습니다. 닫히는 것을 방지합니다. # # # ** 일어난 일 : ** 제품 결함이 도입되었습니다. Real Device Test 세션을 시작하지 않고 Active Session을 차단하는 데 실패했습니다. # # # ** 우리가 그것을 고정하는 방법 : ** 안정적인 버전으로 롤백. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** 모니터링 및 경고 및 포스트 배포 검증을 향상.
공식 인시던트 업데이트를 자동 번역했습니다.
약 3:51 AM UTC 우리는 유럽 연합 (EU) 중앙 데이터 센터의 낮은 iOS 장치 가용성을 경험하기 시작했습니다. 우리 팀은 뿌리 원인을 적극적으로 조사하고 해결을 위해 노력하고 있습니다.
우리는 우리의 EU-Central-1 데이터 센터에 있는 장치 unavailability를 경험하고 뿌리 원인을 확인했습니다. 우리는 치료 활동을 촬영하고 현재 모니터링하고 있습니다.
중개 작용을 복용 한 후, EU-Central-1 데이터 센터에서 테스트 할 수있는 실제 장치를 볼 수 있습니다. 모든 서비스는 완전히 운영됩니다.
##**일시:** 목요일 6월 18 2026, 03:45 UTC - 06:45 UTC. ###** 일어난 일:** 유럽 연합 (EU) 데이터 센터의 iOS 기기의 약 7 %는 랙 호스팅으로 전력 손실 후 고객 테스트 세션을 일시적으로 사용할 수 없었습니다. # # # ** 일어난 일 : ** 영향을받는 선반을 공급하는 전원 회로는 그것의 수용량을 초과하고, 보호 차단기는 선을 보호하기 위하여 여행했습니다 - 회로가 복원될 때까지 그 선반에 장치에 절단 힘은 복원되었습니다. # # # ** 우리가 그것을 고정하는 방법 : ** 영향 받은 회로는 선반에 재시동하고 힘은, 고객 서비스에 장치를 돌려보냅니다. # # # ** 우리가 다시 일어나서 방지하는 것은 무엇입니까 : ** 우리는 영향을받는 선반의 맞은편에 적출 전력 부하, 회로 한계의 앞에 이른 경고로 수용량 감시를 추가하고, 새로운 장치가 선반에 배치되기 전에 수용량 검토를 소개하고.
공식 인시던트 업데이트를 자동 번역했습니다.
We are experiencing an issue where the US-EAST data center is currently unavailable. We are investigating.
We are continuing to investigate this issue.
We have identified the root cause and are working on implementing a fix.
Access has been restored to the US-EAST data center. We are monitoring.
After taking remedial action, access to the US-EAST data center is fully restored. This incident is resolved.
### **Dates:** Monday, June 1st 2026, 13:06 UTC - 15:42 UTC. ### **What happened:** Customers served by the US-EAST-4 region were unable to authenticate or start new test sessions because an incomplete TLS certificate chain was deployed to the core directory services. ### **Why it happened:** A certificate extraction script defect silently truncated the certificate chain after the certificate authority transitioned to a longer hierarchy. ### **How we fixed it:** Reverted the certificate rotation and re-applied the previous known ,good certificate to restore authentication services. ### **What we are doing to prevent it from happening again:** Implementing pre-deployment certificate chain validation, adding active monitoring, and fixing the script's chain-length limitations.
Between May 13th 18:47 UTC and May 15th 9:23 UTC, we experienced test details not appearing in the dashboard of the US-East Data Center. This issue has been resolved. All services are fully operational.
### **Dates:** Wednesday, May 13th 2026, 18:47 UTC - Friday, May 15th 2026, 09:23 UTC. ### **What happened:** Customers were unable to access test run summaries for Real Device Cloud \(RDC\) jobs because events stopped publishing to the jobs Kafka topic in US-EAST. ### **Why it happened:** An authentication key used by the message producer unexpectedly lost its permissions during an account cleanup. ### **How we fixed it:** Manually restored the required permissions to re-establish the connection and resume service. ### **What we are doing to prevent it from happening again:** Migrating to a permanent service account, implementing a Dead Letter Queue \(DLQ\) for the jobs Kafka topic, and replaying the missing events to restore customer data.
Between April 23rd 22:44 and April 24th 15:25 UTC, there was a technical issue that affected video recordings for tests running on macOS 15 and iOS within our EU and US-West Data Center. We identified the issue and deployed a fix. All systems are now fully operational.
### **Dates:** Thursday, April 23rd 2026, 22:43 UTC - Friday, April 24th 2026, 15:29 UTC ### **What happened:** Video assets were missing for virtual iOS simulator tests on ARM and macOS ARM desktop tests in the US-West and EU data centers. ### **Why it happened:** A product defect was introduced resulting in a screen capture failure. ### **How we fixed it:** We performed a rollback to a stable version. ### **What we are doing to prevent it from happening again:** We are improving monitoring & alerting to enhance our post deployment validation.
