67 Sauce Labs incidents · 2024年11月 — official updates, affected components, duration and resolution details.
10 月 13 日、 05:10 UTC と 05:45 UTC の間、米国西1 データセンターにおける VDC、RDC、Sesource Connect、IPSec サービスのエラー率が高い経験しました。 問題は解決しました。 すべてのサービスが完全に運用できるようになりました.
公式のインシデント更新を自動翻訳しています。
EU-Central-1データセンターのSake Labs UIに問題があります。 調査中です.
EU-Central-1データセンターのSake Labs UIにはまだ問題が発生しています。 今後も調査を続けてまいります.
EU-Central-1データセンターにおける継続的なSake Labs UIの問題の原因を絞り込むことに進展しました。 調査は進行中です.
当社は、EU-Central-1データセンターの継続的な問題の解決のために、第三者のプロバイダと密接に連携しています。 調査は進行中です.
EU-Central-1データセンターの継続的な問題の調査と解決のために、パートナーや関連チームと協力して作業を続けています。 情報が増えるにつれて、さらなるアップデートを共有します.
EU-Central-1のUIアクセスに影響を与える問題の根本原因は、データセンター内のサードパーティのインフラストラクチャプロバイダの1つと継続的な事件に結び付けられます。 当社のチームは、このインシデントチケットを閉鎖したままにしていますが、当社は積極的にプロバイダの継続的な調査を追跡し、パフォーマンスを密接に監視します.
公式のインシデント更新を自動翻訳しています。
データセンタ全体でAndroidとLinux上でクラッシュパッドを使用して、エラーレポーティング(バックトレース)のエラー摂取で劣化が発生しています。 現在調査中です.
今後もこの問題について調査を続けてまいります.
エラー報告(バックトレース)に対する誤りの根本原因を特定しました。 是正が適用され、状況を積極的に監視しています.
Remedial アクションを取った後、エラー報告(バックトレース)のエラーメッセージが解決しました。 全てのサービスが完全に運営されています.
公式のインシデント更新を自動翻訳しています。
現在、EU-Central-1データセンターで実機テストのエラー率が上昇しています。 調査中です.
EU-Central-1データセンターで、実際のデバイステストエラーレートが正常に戻りました。 全てのサービスが完全に運営されています.
##**日付:** 9月30日(水) 2026, 09:04 UTC - 10:49 UTC. ##**何が起こったのか:** 実質装置によって自動化されるテストはEUの中央データ中心で、最大25%に達する間違い率で始めるためにベテランの失敗を経験しました。 ##**なぜそれが起こったのか:** デプロイメントは、キャッシュのミスを増加させ、下流インフラに負荷を上昇させました。 ##**修正方法:** 以前のバージョンに戻すと、サービスが復元されました。 ##**再び起きるのを防ぐためにやっていること:** 代替キャッシュ戦略は、キャッシュの有効性を高めると考えられています.
公式のインシデント更新を自動翻訳しています。
現在、US-West-1データセンターで自動実機テストのエラー率が上昇しています。 現在調査中です.
US-West-1データセンターのReal Deviceテストのエラー率が高い原因を特定しました。 是正が適用され、状況を積極的に監視しています.
リメディアルアクションを取った後、リアルデバイステストのエラー率は、US-West-1データセンターの正常値に戻りました。 全てのサービスが完全に運営されています.
##**日付:** 9月28日(月)2026、14:19 UTC - 16:52 UTC。 ##**何が起こったのか:** 米国西部の実機テストは、遅いアップロードのためにテストアーティファクトを出力できなかった。 ##**なぜそれが起こったのか:** 分解された相互接続リンクは、光学エラーから高いパケット損失に苦しむが、BGPは、自動障害を健康なパスに防いでいます。 ##**修正方法:** 手動でエッジルータの劣化したポートを無効化し、健全な交互接続へのトラフィックを強制します。 ##**再び起きるのを防ぐためにやっていること:** CRC エラーのしきい値に基づいてリンクドレインを自動化し、フラッピングベンダーのリンクを分離するためのプロトコルを改善し、アップロードレジリエンスを硬化させます.
公式のインシデント更新を自動翻訳しています。
12:05 UTC と 12:35 UTC の間、米国西1データセンターのデスクトップおよび仮想デバイステストで、高いエラー率と長いセッション開始時間を経験しました。 問題は解決しました。 全てのサービスが完全に運営されています.
### **Dates:** Wednesday, September 23rd 2026, 12:05 UTC - 12:35 UTC. ### **What happened:** Virtual Device Cloud testing availability gradually decreased in the US-West-1 data center. ### **Why it happened:** A product defect was introduced causing Virtual Device Cloud testing sessions to fail to start. ### **How we fixed it:** Rollback to a stable version. ### **What we are doing to prevent it from happening again:** Strengthen pre-deployment validation and reassess configuration rollout strategies.
公式のインシデント更新を自動翻訳しています。
間 09:52 UTC と 10:34 UTC, US-West データセンター内の複数のラボ ソース サービスが停電を経験しました, 認証の失敗を引き起こし、機能をテストするための混乱. すべてのシステムが完全に運用できるようになりました.
##**日付:** 9月16日(水) 2026, 09:51 UTC - 10:35 UTC ##**何が起こったのか:** 複数のソースラボサービスは、米国西1データセンターで徐々に減少します。 影響を受けるサービスは次のとおりです。 ※認証\(サイン、SSO、既存のセッション、サインアップ\) *仮想デバイスクラウド \(VDC\) * リアルデバイスクラウド \(RDC\) * ソースコネクト * REST API は * Appの貯蔵 * インサイト *ソースビジュアル *テストコンポーザー * ユーザーおよびチーム管理 * 課金プランと利用API ##**なぜそれが起こったのか:** 認証サービスの展開により、データベース接続の予期しないサージがトリガーされ、認証障害が発生し、複数のソースラボサービスが中断されます。 ##**修正方法:** 影響を受けたデータベースノードを再起動しました。 ##**再び起きるのを防ぐためにやっていること:** ロールアウト戦略、接続ライフサイクル管理、故障メカニズム、健康チェックの応答性を改善します.
公式のインシデント更新を自動翻訳しています。
EU-Central-1データセンターのReal Deviceテストのエラー率が高まっています。 調査中です.
EU-Central-1データセンターのReal Deviceテスト用の高値の誤差率の根本原因を特定しました。 是正が適用され、状況を積極的に監視しています.
Remedial アクションを取った後、Real Device のテストエラーレートは EU-Central-1 データセンターの正常値に戻りました。 全てのサービスが完全に運営されています.
**日時:** 9月2日(水)2026、8:30 UTC - 11:15 UTC。 ##**何が起こったのか:** 実質装置によって自動化されるテストはEUの中央データ中心で、短い期間のためのおよそ100%に達する高められた間違い率で始めるベテランの失敗を経験しました。 ##**なぜそれが起こったのか:** デプロイメントは、キャッシュのミスを増加させ、下流インフラに負荷を上昇させました。 ##**修正方法:** アプリケーションを再起動することでサービスが復元されました。 ##**再び起きるのを防ぐためにやっていること:** 追加リソースは、短期的に再発の可能性を減らすために割り当てられました。 長期的には、資源集中タスクのパフォーマンスを最適化し、動的スケーリングを導入します.
公式のインシデント更新を自動翻訳しています。
現在、米国西1データセンターのmacOSとiOSテストのエラー率が高まっています。 現在調査中です.
リメディアルアクションを取った後、US-West-1 データセンターでは、すべての macOS および iOS のテストが期待通り実行されます。 全てのサービスが完全に運営されています.
##**日付:** 火曜日 8月25日 2026, 11:38 – 13:10 UTC ##**何が起こったのか:** 米国西部地域でmacOSやiOSテストを実施しているお客様は、劣化したサービスを経験しました。 領域内の仮想Mac容量の50%が新しいテストを受け入れなくなったので、キュートまたは起動に失敗したかどうかをテストします。 容量の維持はそれにシフトされる仕事として付加的な圧力の下で、デスクトップおよびシミュレータのテストのための延長開始の時間でした。 ##**なぜそれが起こったのか:** 当社のMacホストが使用している内部セキュリティ証明書は、サポートされているクラウドサービスが有効期限に達しました。 中断すると、ホストはもはやそのサービスへの信頼された接続を確立し、新しいテストマシンのプロビジョニングを停止することはできませんでした。 証明書は手動で発行され、自動更新や警戒を行わなかった。 ##**修正方法:** 交換証明書を発行し、接続を復元し、Macの容量を通常のレベルに戻した。 ##**再び起きるのを防ぐためにやっていること:** 私たちは、これらの証明書を自動更新に移行し、警戒を追加するので、彼らは、有効期限の先をうまく置き換えるので、周囲のツーリングを検討して、証明書の取り扱いを安全にします.
公式のインシデント更新を自動翻訳しています。
現在、US-West-1 データセンターの仮想デスクトップテストのエラー率が高まっています。 現在調査中です.
After taking remedial action, Virtual Desktop tests are starting successfully in the US-West-1 Data center. All services are fully operational. We are closely monitoring the situation
### **Dates:** Friday, August 7th 2026, 11:00 UTC - 13:04 UTC. ### **What happened:** Windows and Intel Mac jobs in `us-west1` failed to start due to virtual machine \(VM\) allocation starvation. ### **Why it happened:** A service crash loop left VMs in an allocated but unclaimed state, while a cleanup bug prevented the system from releasing the orphaned capacity to boot new VMs. ### **How we fixed it:** Restored service stability and cleared stale allocations to resume VM provisioning and clear queued jobs. ### **What we are doing to prevent it from happening again:** Fixing allocator cleanup logic, strengthening deployment health checks, and improving capacity accounting for stale allocations.
公式のインシデント更新を自動翻訳しています。
7月16日13:03 UTCと7月16日17:33 UTCの間に、マルチパートのアップロードプロトコルを活用したシンボルアーカイブが処理に失敗したサービス中断を経験しました。 インシデントが解決し、すべてのサービスが運用されています.
### **Dates:** Thursday July 16th 2026, 13:03 – 17:33 UTC ### **What happened:** Symbol archives uploaded in multiple parts failed to process. All regions were affected. ### **Why it happened:** Our symbol processing service sent an upload-verification field that our cloud storage provider's API does not accept for multi-part uploads, so those uploads were rejected. A fix for this had already been developed, but it had not yet been included in a released build and the service was not configured to use it. As in the first incident, rejected uploads were retried and accumulated on local disk. ### **How we fixed it:** We deployed a build containing the fix and corrected the service configuration on the affected workers. A large backlog of uploads then processed, which briefly re-filled the disks before draining completely. ### **What we are doing to prevent it from happening again:** We are releasing the fix formally through our build pipeline and persisting the corrected configuration in our configuration management, so it can't be lost. The disk-utilization alerting added after the first incident also covers the disk-exhaustion pattern common to both.
公式のインシデント更新を自動翻訳しています。
7月14日23:45 UTCと7月15日23:05 UTCの間に、シンボルアーカイブのアップロードがHTTP 400エラーで失敗した問題が発生しました。 インシデントが解決し、すべてのサービスが運用されています.
### **Dates:** Tuesday July 14th 2026, 23:45 UTC – Wednesday July 15th 2026, 23:05 UTC ### **What happened:** Symbol archive uploads to Error Reporting \(Backtrace\) projects failed with HTTP 400 errors. All regions were affected. ### **Why it happened:** The credentials our symbol processing service used to write to cloud storage were no longer valid, so uploads could not be stored. Failed uploads were retried repeatedly and accumulated on local disk until the service ran out of space, at which point it also began rejecting new uploads. ### **How we fixed it:** We reissued the storage credentials, increased disk capacity on the affected workers, and restarted the service. The queued uploads then processed successfully, and we confirmed recovery with affected customers. ### **What we are doing to prevent it from happening again:** We've added disk-utilization monitoring and alerting to this service so we detect the condition ourselves before it affects uploads, rather than relying on customer reports.
公式のインシデント更新を自動翻訳しています。
IOS ARM Simulator アプリのテストがインフラストラクチャエラーで失敗するEU Central 1データセンターで問題が発生しています。 調査中です.
これらのインフラストラクチャのエラーが表示された場合、アプリのダウンロードは予想以上にかかります。 今後も調査を続けてまいります.
この問題の修正を行いました。 EU中央1データセンターでテストが期待どおりに実行されるようになりました。 監視しています.
今後の問題がないか引き続き監視しています。
是正措置をとり、状況を監視した後、iOS ARM アプリケーション テストが EU データセンターで期待どおり実行されていることがわかります。 全てのサービスが完全に運営されています.
##**日付:** 火曜日 7月14日 2026, 09:00 - 18:28 UTC ##**何が起こったのか:** EUデータセンターで動作するiOS ARMテストが失敗しました。 ##**なぜそれが起こったのか:** EUのデータセンターにおける主要なネットワークプロバイダで発生した障害。 ##**修正方法:** EUデータセンターから2次ネットワークプロバイダに失敗しました。 ##**再び起きるのを防ぐためにやっていること:** 第三者のネットワークプロバイダの問題をキャッチするために、モニタリングと警告を改善しました.
公式のインシデント更新を自動翻訳しています。
7月1日、17:02 UTC と 21:31 UTC の間、macOS 14 のテストは、US-West と EU-Central データセンターで起動できませんでした。 この問題は解決しました。 全てのサービスが完全に運営されています.
### **Dates:** Wednesday July 1st 2026, 17:02 UTC - 21:31 UTC ### **What happened:** macOS 14 tests in the US West and EU Central data centers were unable to start. ### **Why it happened:** An internal datasource was unavailable due to a missing configuration entry. ### **How we fixed it:** The missing entry was replaced. ### **What we are doing to prevent it from happening again:** Safeguards have been put in place to prevent in-use datasource removal from configuration.
公式のインシデント更新を自動翻訳しています。
米国西部-1、EU-Central-1、米国東4データセンターにおけるアプライムインスペクターへのアクセスに関する問題が発生しています。 調査中です.
根本原因を特定し、この問題の修正をデプロイしました。 全てのサービスが完全に運営されています.
##**日付:** 水曜日 7月1日 2026, 09:37 – 12:46 UTC ##**何が起こったのか:** Appium Inspector は、実機のライブテストセッション中に使用し、スケジュールされた UI デプロイ後に利用できなくなった。 ライブテスト中に機能を使用しようとするユーザーは、500エラーで提示され、アクティブなテストセッションを中断しました。 自動テストパイプラインは影響を受けませんでした。 ##**なぜそれが起こったのか:** コアフロントエンドライブラリの定期的なアップグレードにより、Appium Inspectorのレンダリングロジックとの互換性が導入されました。 以前のライブラリバージョンはパターンを容認しましたが、更新されたバージョンはありませんでした。 問題は、この特定の機能の不十分なエンドツーエンドのテストカバレッジのために、デプロイ前にキャッチされていない。 ##**修正方法:** 既知の作業バージョンにUIをロールバックし、すぐに機能を復元し、互換性の対象となる修正をデプロイしました。 ##**再び起きるのを防ぐためにやっていること:** Appium Inspector機能のエンドツーエンドテストカバレッジを追加し、将来のデプロイ前に自動的に検証されます.
公式のインシデント更新を自動翻訳しています。
6月24日、8月28日UTCと15:32 UTCの間では、米国東、米国西、EUデータセンターでAppiumとAccess APIに影響を及ぼすReal Deviceテストセッションの障害が発生しました。 この問題は解決しました。 全てのサービスが完全に運営されています.
##**日付:** 6月24日(水) 2026, 09:42 UTC - 15:45 UTC ##**何が起こったのか:** Appium および Access API を使用した Real Device のテストセッションでは、米国東部、米国西部、EU データセンターのエラー率が増加しました。 セッションは、約90秒後にタイムアウトされたり、「接続」状態に陥ったりして、そのセッションが閉鎖されないようにしました。 ##**なぜそれが起こったのか:** 製品の欠陥が導入され、Real Device のテスト セッションの開始と中止の防止に失敗しました。 ##**修正方法:** 安定したバージョンへのロールバック。 ##**再び起きるのを防ぐためにやっていること:** 監視とアラートを改善し、ポストの展開検証を強化します.
公式のインシデント更新を自動翻訳しています。
約3:51 AM UTCは、EU-CentralデータセンターでiOSデバイスの可用性を低下させました。 当社のチームは、根本原因を積極的に調査し、解決に向けて取り組んでいます.
EU-Central-1データセンターのデバイス不利用可能な経験があり、根本原因を特定しています。 現在監視中です.
EU-Central-1データセンターでテストできる実機を今すぐ見ていきます。 全てのサービスが完全に運営されています.
##**日付:** 木曜日 6月 18 2026, 03:45 UTC - 06:45 UTC. ##**何が起こったのか:** EUデータセンターのiOSデバイスの約7%が一時的に利用できなくなりました。 ##**なぜそれが起こったのか:** 影響を受けたラックを供給する電力回路は、その容量を超え、ラインを保護するための保護遮断器 - 回路が復元されるまで、そのラック上のデバイスに電力を切断します。 ##**修正方法:** 影響を受けた回路は、ラックに復元された電力をリセットし、デバイスを顧客サービスに戻しました。 ##**再び起きるのを防ぐためにやっていること:** 影響力のあるラックに電力負荷を再配分し、回路限界を先取りする早期警告で容量監視を追加し、新しいデバイスがラックにデプロイされる前に容量レビューを導入しています.
公式のインシデント更新を自動翻訳しています。
We are experiencing an issue where the US-EAST data center is currently unavailable. We are investigating.
We are continuing to investigate this issue.
We have identified the root cause and are working on implementing a fix.
Access has been restored to the US-EAST data center. We are monitoring.
After taking remedial action, access to the US-EAST data center is fully restored. This incident is resolved.
### **Dates:** Monday, June 1st 2026, 13:06 UTC - 15:42 UTC. ### **What happened:** Customers served by the US-EAST-4 region were unable to authenticate or start new test sessions because an incomplete TLS certificate chain was deployed to the core directory services. ### **Why it happened:** A certificate extraction script defect silently truncated the certificate chain after the certificate authority transitioned to a longer hierarchy. ### **How we fixed it:** Reverted the certificate rotation and re-applied the previous known ,good certificate to restore authentication services. ### **What we are doing to prevent it from happening again:** Implementing pre-deployment certificate chain validation, adding active monitoring, and fixing the script's chain-length limitations.
Between May 13th 18:47 UTC and May 15th 9:23 UTC, we experienced test details not appearing in the dashboard of the US-East Data Center. This issue has been resolved. All services are fully operational.
### **Dates:** Wednesday, May 13th 2026, 18:47 UTC - Friday, May 15th 2026, 09:23 UTC. ### **What happened:** Customers were unable to access test run summaries for Real Device Cloud \(RDC\) jobs because events stopped publishing to the jobs Kafka topic in US-EAST. ### **Why it happened:** An authentication key used by the message producer unexpectedly lost its permissions during an account cleanup. ### **How we fixed it:** Manually restored the required permissions to re-establish the connection and resume service. ### **What we are doing to prevent it from happening again:** Migrating to a permanent service account, implementing a Dead Letter Queue \(DLQ\) for the jobs Kafka topic, and replaying the missing events to restore customer data.
Between April 23rd 22:44 and April 24th 15:25 UTC, there was a technical issue that affected video recordings for tests running on macOS 15 and iOS within our EU and US-West Data Center. We identified the issue and deployed a fix. All systems are now fully operational.
### **Dates:** Thursday, April 23rd 2026, 22:43 UTC - Friday, April 24th 2026, 15:29 UTC ### **What happened:** Video assets were missing for virtual iOS simulator tests on ARM and macOS ARM desktop tests in the US-West and EU data centers. ### **Why it happened:** A product defect was introduced resulting in a screen capture failure. ### **How we fixed it:** We performed a rollback to a stable version. ### **What we are doing to prevent it from happening again:** We are improving monitoring & alerting to enhance our post deployment validation.
