Sauce Labs 中断历史

1. 2026年10月13日 UTC 10:09resolved

   10月13日,从协调世界时05:10到协调世界时05:45,我们经历了美国-West-1数据中心的VDC,RDC,Sauce Connect和IPSec服务的高出错率. 这个问题已经得到解决。 所有服务现已全面运作.

自动翻译自官方事件更新。

1. 2026年10月13日 UTC 08:58investigating

   我们正在遇到一个问题 与Sauce Labs UI 在欧盟-中央-1数据中心。 我们正在调查.

2. 2026年10月13日 UTC 10:04investigating

   我们仍在欧盟-中央-1数据中心遇到与Sauce Labs UI有关的问题。 我们正在继续调查.

3. 2026年10月13日 UTC 11:38investigating

   我们在缩小欧盟-中央-1数据中心中正在进行的Sauce Labs UI问题的起因方面取得了进展。 调查仍在进行中.

4. 2026年10月13日 UTC 13:30investigating

   我们正在同我们的第三方提供者密切合作,以解决欧盟-中央-1数据中心中正在讨论的问题。 调查仍在进行中.

5. 2026年10月13日 UTC 15:39investigating

   我们正在继续与我们的伙伴和有关小组合作,以调查和解决欧盟-中央-1数据中心的目前问题。 一旦获得更多信息,我们将分享进一步的最新情况.

6. 2026年10月13日 UTC 22:10resolved

   影响我们UI在欧盟-中央-1的接入问题的根源与数据中心中我们的一个第三方基础设施供应商正在发生的一起事件有关。 我们的团队正在关闭这个事故罚单的同时,我们正积极追踪供应商正在进行的调查,并将密切监测执行情况.

自动翻译自官方事件更新。

1. 2026年10月8日 UTC 16:48investigating

   使用Android 和 Linux 上的相撞板,我们正面临错误摄入错误报告(Backtrace)的降解。 我们正在调查.

2. 2026年10月8日 UTC 16:52investigating

   我们正在继续调查这一问题.

3. 2026年10月8日 UTC 17:20monitoring

   错误报告(Backtrace)摄入错误的根本原因已经确定。 已经采取了补救措施,我们正在积极监测局势.

4. 2026年10月8日 UTC 18:50resolved

   在采取补救行动后,错误报告(Backtrace)中的错误摄入问题已经解决. 所有服务都全面投入运作.

自动翻译自官方事件更新。

1. 2026年9月30日 UTC 10:04investigating

   目前我们看到,欧盟-中央-1数据中心中实际设备测试错误率上升。 我们正在调查.

2. 2026年9月30日 UTC 11:18resolved

   真正的设备测试出错率在EU-Central-1数据中心已经恢复正常. 所有服务都全面投入运作.

3. 2026年10月14日 UTC 17:12postmortem

   ** 日期:** 2026年9月30日星期三,09:04 UTC - 10:49 UTC时. 发生了什么事? 真正的设备自动化测试在欧盟中央数据中心中失败启动,出错率高达25%. 原因:** 部署后,基本基础设施的缓存缺失和负载增加。 我们如何修复它: ** 服务通过回滚恢复到之前的版本. 我们正采取什么措施来防止它再次发生:** 目前正在考虑其他缓存战略,以提高缓存的有效性.

自动翻译自官方事件更新。

1. 2026年9月28日 UTC 16:04investigating

   目前在US-West-1数据中心的自动真实设备测试中,我们看到错误率上升。 我们正在调查.

2. 2026年9月28日 UTC 16:56monitoring

   已查明美国-West-1数据中心Real December测试错误率高的根本原因。 已经采取了补救措施,我们正在积极监测局势.

3. 2026年9月28日 UTC 17:19resolved

   在采取补救行动后,Real Devicement测试出错率在美国-West-1数据中心已恢复正常. 所有服务都全面投入运作.

4. 2026年10月2日 UTC 19:15postmortem

   ** 日期:** 2026年9月28日星期一,协调世界时14:19 - 协调世界时16:52. 发生了什么事? 由于上传速度缓慢,美国West公司的真正设备测试被吊死并未能输出测试文物. 原因:** 一个已退化的互联链路由于光学错误而损失了很高的包,但BGP仍然保持原状,防止了自动故障到健康路径. 我们如何修复它: ** 手动使边缘路由器上已退化的港口瘫痪,迫使交通进入健康的替代连接。 我们正采取什么措施来防止它再次发生:** 根据CRC出错阈值自动排出链路,改进隔离扇动供应商链路的协议,并硬化上传韧性.

自动翻译自官方事件更新。

1. 2026年9月23日 UTC 12:45resolved

   在协调世界时12:05至协调世界时12:35之间,我们经历了美国-West-1数据中心桌面和虚拟设备测试的高出错率和更长的会话起跑时间. 这个问题已经得到解决。 所有服务都全面投入运作.

2. 2026年10月21日 UTC 17:00postmortem

   ### **Dates:** Wednesday, September 23rd 2026, 12:05 UTC - 12:35 UTC. ### **What happened:** Virtual Device Cloud testing availability gradually decreased in the US-West-1 data center. ### **Why it happened:** A product defect was introduced causing Virtual Device Cloud testing sessions to fail to start. ### **How we fixed it:** Rollback to a stable version. ### **What we are doing to prevent it from happening again:** Strengthen pre-deployment validation and reassess configuration rollout strategies.

自动翻译自官方事件更新。

1. 2026年9月16日 UTC 11:08resolved

   09:52 UTC至10:34 UTC期间,美西数据中心多家索斯实验室服务出现停用,导致认证故障并中断测试功能. 所有系统现已全面运作.

2. 2026年10月26日 UTC 16:30postmortem

   ** 日期:** 协调世界时2026年9月16日(星期三)09:51 UTC - 10:35 UTC. 发生了什么事? 在美国-West-1数据中心,多个Sauce实验室的服务供应逐渐减少。 受影响的服务包括: * 认证\ (签名到, SSO, 现有会话, 和注册\) * 虚拟设备云\ (VDC\) * 真实设备云\ (RDC\) * 酱汁连接 * 倒计时 * 应用程序存储 * 见解 * 香料视觉 * 测试作曲器 * 用户和团队管理 * 账单计划和使用情况 原因:** 认证服务的部署引发了数据库连接的出乎意料地激增,导致认证失败并打乱了多起索斯实验室服务. 我们如何修复它: ** 重新启动了受影响的数据库节点 。 我们正采取什么措施来防止它再次发生:** 改进推出战略、连接生命周期管理、故障处理机制以及健康检查响应能力.

自动翻译自官方事件更新。

1. 2026年9月2日 UTC 09:39investigating

   我们看到欧盟-中央-1数据中心Real Devicement测试错误率上升。 我们正在调查.

2. 2026年9月2日 UTC 11:30identified

   已查明欧盟-中央-1数据中心Real Devicement测试错误率高的根本原因。 已经采取了补救措施,我们正在积极监测局势.

3. 2026年9月2日 UTC 11:53resolved

   在采取补救行动后,Real Deviceit测试出错率在EU-Central-1数据中心已恢复正常. 所有服务都全面投入运作.

4. 2026年9月18日 UTC 02:11postmortem

   ** Dates:** 2026年9月2日星期三,协调世界时08:30 - 11:15协调世界时. 发生了什么事? Real Device Automatic Tests在欧盟中央数据中心出现失败起步,在短时期内较高的出错率已接近100%. 原因:** 部署后,基本基础设施的缓存缺失和负载增加。 我们如何修复它: ** 通过重新启动应用程序恢复了服务 。 我们正采取什么措施来防止它再次发生:** 拨出了额外资源,以减少短期内再次出现的可能性。 从长远看,我们将优化资源密集型任务的执行,实行动态规模化.

自动翻译自官方事件更新。

1. 2026年8月25日 UTC 12:33investigating

   目前我们看到美国-West-1数据中心的macOS和iOS测试错误率上升。 我们正在调查.

2. 2026年8月25日 UTC 13:19resolved

   在采取补救行动后,所有macOS和iOS测试现在都在美国-西一数据中心按预期进行。 所有服务都全面投入运作.

3. 2026年9月3日 UTC 20:23postmortem

   ** 日期:** 2026年8月25日星期二,11:38 – 13:10 UTC 发生了什么事? 在美国-西部地区进行macOS和iOS测试的客户的服务下降。 该地区大约50%的虚拟Mac容量不再接受新的测试,因此测试要么排队,要么启动失败. 随着工作转向,剩余能力承受了额外压力,从而延长了桌面和模拟测试的起动时间。 原因:** 我们的Mac主机用来达到支持云服务的内部安全证书已经到期. 一旦失效,主机就再也无法建立与这项服务可信赖的连接,并停止提供新的测试机. 该证书是人工签发的,既没有自动更新,也没有过期警报。 我们如何修复它: ** 我们发放并部署了替换证书,恢复了连接,使Mac容量恢复到正常水平. 我们正采取什么措施来防止它再次发生:** 我们正在将这些证书移到自动更新上,并增加警示,以便在过期前及早更换,同时审查周围的工具,使证书处理更加安全.

自动翻译自官方事件更新。

1. 2026年8月7日 UTC 12:08investigating

   We are currently seeing elevated error rates for virtual desktop tests in the US-West-1 datacenter. We are currently investigating.

2. 2026年8月7日 UTC 13:06resolved

   After taking remedial action, Virtual Desktop tests are starting successfully in the US-West-1 Data center. All services are fully operational. We are closely monitoring the situation

3. 2026年8月14日 UTC 16:43postmortem

   ### **Dates:** Friday, August 7th 2026, 11:00 UTC - 13:04 UTC. ### **What happened:** Windows and Intel Mac jobs in `us-west1` failed to start due to virtual machine \(VM\) allocation starvation. ### **Why it happened:** A service crash loop left VMs in an allocated but unclaimed state, while a cleanup bug prevented the system from releasing the orphaned capacity to boot new VMs. ### **How we fixed it:** Restored service stability and cleared stale allocations to resume VM provisioning and clear queued jobs. ### **What we are doing to prevent it from happening again:** Fixing allocator cleanup logic, strengthening deployment health checks, and improving capacity accounting for stale allocations.

1. 2026年7月16日 UTC 20:33resolved

   在协调世界时7月16日13:03至协调世界时7月16日17:33之间,我们经历了服务中断,使用多段上传协议的符号档案未能处理. 事件已经得到解决,所有服务都已投入运作.

2. 2026年8月14日 UTC 16:48postmortem

   ### **Dates:** Thursday July 16th 2026, 13:03 – 17:33 UTC ### **What happened:** Symbol archives uploaded in multiple parts failed to process. All regions were affected. ### **Why it happened:** Our symbol processing service sent an upload-verification field that our cloud storage provider's API does not accept for multi-part uploads, so those uploads were rejected. A fix for this had already been developed, but it had not yet been included in a released build and the service was not configured to use it. As in the first incident, rejected uploads were retried and accumulated on local disk. ### **How we fixed it:** We deployed a build containing the fix and corrected the service configuration on the affected workers. A large backlog of uploads then processed, which briefly re-filled the disks before draining completely. ### **What we are doing to prevent it from happening again:** We are releasing the fix formally through our build pipeline and persisting the corrected configuration in our configuration management, so it can't be lost. The disk-utilization alerting added after the first incident also covers the disk-exhaustion pattern common to both.

自动翻译自官方事件更新。

1. 2026年7月16日 UTC 20:30resolved

   在协调世界时7月14日23:45至协调世界时7月15日23:05之间,我们经历了一个符号存档上传到Backtrace项目的HTTP 400出错失败的问题. 事件已经得到解决,所有服务都已投入运作.

2. 2026年8月14日 UTC 16:47postmortem

   ### **Dates:** Tuesday July 14th 2026, 23:45 UTC – Wednesday July 15th 2026, 23:05 UTC ### **What happened:** Symbol archive uploads to Error Reporting \(Backtrace\) projects failed with HTTP 400 errors. All regions were affected. ### **Why it happened:** The credentials our symbol processing service used to write to cloud storage were no longer valid, so uploads could not be stored. Failed uploads were retried repeatedly and accumulated on local disk until the service ran out of space, at which point it also began rejecting new uploads. ### **How we fixed it:** We reissued the storage credentials, increased disk capacity on the affected workers, and restarted the service. The queued uploads then processed successfully, and we confirmed recovery with affected customers. ### **What we are doing to prevent it from happening again:** We've added disk-utilization monitoring and alerting to this service so we detect the condition ourselves before it affects uploads, rather than relying on customer reports.

自动翻译自官方事件更新。

1. 2026年7月14日 UTC 17:19investigating

   IOS ARM模拟器应用测试因基础设施出错而失败。 我们正在调查.

2. 2026年7月14日 UTC 18:05investigating

   当看到这些基础设施错误时,App下载需要的时间比预期的要长. 我们正在继续调查.

3. 2026年7月14日 UTC 18:56monitoring

   我们已经为这一问题制定了解决办法。 现在应该按照欧盟中央1数据中心的预期进行测试。 我们正在监测.

4. 2026年7月14日 UTC 19:11monitoring

   我们正在继续监测任何其他问题.

5. 2026年7月14日 UTC 20:23resolved

   在采取补救行动并监测情况后,我们看到iOS ARM应用测试如欧盟数据中心所预期的那样进行。 所有服务都全面投入运作.

6. 2026年7月29日 UTC 17:40postmortem

   ** 日期:** 2026年7月14日,星期二 UTC凌晨9:00 - 18:28 发生了什么事? 欧盟数据中心运行的iOS ARM测试失败. 原因:** 我们欧盟数据中心的主要网络供应商发生了故障。 我们如何修复它: ** 我们输给了欧盟数据中心的二级网络供应商 我们正采取什么措施来防止它再次发生:** 我们改进了对第三方网络供应商的监控和警报,以发现问题.

自动翻译自官方事件更新。

1. 2026年7月1日 UTC 21:37resolved

   在协调世界时7月1日17:02至协调世界时21:31,macOS 14测试未能在美国-西部和欧盟-中央数据中心开始. 这个问题已经得到解决。 所有服务都全面投入运作.

2. 2026年8月11日 UTC 20:37postmortem

   ** 日期:** 2026年7月1日星期三 UTC下午17:02 - UTC下午21:31 发生了什么事? 美国西部和欧盟中央数据中心的macOS 14测试未能启动。 原因:** 由于缺少配置条目,无法获取内部数据源。 我们如何修复它: ** 所缺条目被替换. 我们正采取什么措施来防止它再次发生:** 已经制定了保障措施,以防止从配置中移除使用中的数据源.

自动翻译自官方事件更新。

1. 2026年7月1日 UTC 12:12investigating

   我们正在经历一个问题,即访问美国-西部-1、欧盟-中部-1和美国-东部-4数据中心的Appium检查员。 我们正在调查.

2. 2026年7月1日 UTC 12:58resolved

   我们已查明了问题的根源,并已对这个问题采取了对策。 所有服务都全面投入运作.

3. 2026年7月20日 UTC 20:34postmortem

   ** 日期:** 2026年7月1日星期三 09:37 – 12:46 UTC 发生了什么事? Appium 检查器功能,在实际设备现场测试过程中使用,在预定的UI部署后就变得无法使用. 在直播测试中试图使用该功能的用户被呈现出500个出错,干扰了他们的主动测试会话. 自动化试验管没有受到影响。 原因:** 一个核心前端库的例行升级引入了与 Appium 督察的渲染逻辑不相容. 上一个库版容忍了模式,但更新后版本没有. 由于这一具体特征的端到端测试覆盖面不足,这个问题在部署前没有被抓住. 我们如何修复它: ** 我们把UI回滚到最后一个已知的工作版本,以立即恢复功能,然后为不相容性部署定向固定. 我们正采取什么措施来防止它再次发生:** 我们正在增加Appium检查员功能的端到端测试范围,以确保在未来部署之前自动验证.

自动翻译自官方事件更新。

1. 2026年6月24日 UTC 16:39resolved

   6月24日,在协调世界时08:28至协调世界时15:32之间,我们经历了美国东部,美国西部和欧盟数据中心的Appium和Access API的Real December测试会话故障. 这个问题已经得到解决。 所有服务都全面投入运作.

2. 2026年7月22日 UTC 20:49postmortem

   ** 日期:** 2026年6月24日星期三 UTC09:42 - UTC15:45 (英语). 发生了什么事? 使用 Appium 和 Access API 的真正设备测试会在美国东部、美国西部和欧盟的数据中心中出现了更高的出错率。 会话在大约90秒后即被时间淘汰,或者被卡在"接通"状态下,防止被关闭. 原因:** 引入了产品缺陷,导致Real Devicember测试会话无法启动并阻止活动会话关闭. 我们如何修复它: ** 回滚到稳定的版本。 我们正采取什么措施来防止它再次发生:** 完善监测警示,强化部署后论证.

自动翻译自官方事件更新。

1. 2026年6月18日 UTC 05:30investigating

   在协调世界时3:51左右,我们开始在欧盟-中央数据中心看到iOS设备可用率较低。 我们的小组正在积极调查根源并努力寻求解决办法.

2. 2026年6月18日 UTC 06:12monitoring

   我们一直在我们的欧盟-中央-1数据中心遇到设备无法使用的问题,并查明了根源。 我们已经采取了补救行动,目前正在监测.

3. 2026年6月18日 UTC 06:59resolved

   在采取补救行动后,我们现在看到在欧盟-中央-1数据中心可以测试的真正设备。 所有服务都全面投入运作.

4. 2026年7月6日 UTC 17:17postmortem

   ** 日期:** 2026年6月18日星期四,协调世界时03:45 - 协调世界时06:45. 发生了什么事? 我们欧盟数据中心大约7%的iOS设备在主机架断电后暂时无法用于客户测试会话. 原因:** 向受影响的架子提供电路超出其容量,一个防护断路器被绊倒来保护线路——切断该架子上装置的电能,直到电路被恢复. 我们如何修复它: ** 受影响的电路被重新设置并恢复了机架的电能,使设备回归客户服务. 我们正采取什么措施来防止它再次发生:** 我们正在通过受影响的架子重新分配电力负荷,增加能力监测,提前发出预警警报,并在新装置被部署到架子之前进行能力审查.

自动翻译自官方事件更新。

1. 2026年6月1日 UTC 14:02investigating

   We are experiencing an issue where the US-EAST data center is currently unavailable. We are investigating.

2. 2026年6月1日 UTC 14:55investigating

   We are continuing to investigate this issue.

3. 2026年6月1日 UTC 15:30investigating

   We have identified the root cause and are working on implementing a fix.

4. 2026年6月1日 UTC 16:02monitoring

   Access has been restored to the US-EAST data center. We are monitoring.

5. 2026年6月1日 UTC 18:24resolved

   After taking remedial action, access to the US-EAST data center is fully restored. This incident is resolved.

6. 2026年6月15日 UTC 23:32postmortem

   ### **Dates:** Monday, June 1st 2026, 13:06 UTC -  15:42 UTC. ### **What happened:** Customers served by the US-EAST-4 region were unable to authenticate or start new test sessions because an incomplete TLS certificate chain was deployed to the core directory services.  ### **Why it happened:** A certificate extraction script defect silently truncated the certificate chain after the certificate authority transitioned to a longer hierarchy.  ### **How we fixed it:** Reverted the certificate rotation and re-applied the previous known ,good certificate to restore authentication services. ### **What we are doing to prevent it from happening again:** Implementing pre-deployment certificate chain validation, adding active monitoring, and fixing the script's chain-length limitations.

1. 2026年5月21日 UTC 14:53resolved

   Between May 13th 18:47 UTC and May 15th 9:23 UTC, we experienced test details not appearing in the dashboard of the US-East Data Center. This issue has been resolved. All services are fully operational.

2. 2026年5月26日 UTC 15:07postmortem

   ### **Dates:** Wednesday, May 13th 2026, 18:47 UTC - Friday, May 15th 2026, 09:23 UTC. ### **What happened:** Customers were unable to access test run summaries for Real Device Cloud \(RDC\) jobs because events stopped publishing to the jobs Kafka topic in US-EAST. ### **Why it happened:** An authentication key used by the message producer unexpectedly lost its permissions during an account cleanup. ### **How we fixed it:** Manually restored the required permissions to re-establish the connection and resume service. ### **What we are doing to prevent it from happening again:** Migrating to a permanent service account, implementing a Dead Letter Queue \(DLQ\) for the jobs Kafka topic, and replaying the missing events to restore customer data.

1. 2026年4月24日 UTC 16:33resolved

   Between April 23rd 22:44 and April 24th 15:25 UTC, there was a technical issue that affected video recordings for tests running on macOS 15 and iOS within our EU and US-West Data Center. We identified the issue and deployed a fix. All systems are now fully operational.

2. 2026年5月13日 UTC 15:05postmortem

   ### **Dates:** Thursday, April 23rd 2026, 22:43 UTC - Friday, April 24th 2026, 15:29 UTC ### **What happened:** Video assets were missing for virtual iOS simulator tests on ARM and macOS ARM desktop tests in the US-West and EU data centers. ### **Why it happened:** A product defect was introduced resulting in a screen capture failure. ### **How we fixed it:** We performed a rollback to a stable version. ### **What we are doing to prevent it from happening again:** We are improving monitoring & alerting to enhance our post deployment validation.