postmortem
#**Post-Mortem: 過剰なアウトバウンド API リクエストをマルチトラックにサービス拒否**
**会 期:** 2025年11月9日
**配達:**~1時間
**影響される:** MultiTracksの統合;サービスおよびチェックインに間接的な影響
##**オーバービュー**
11月9日、計画センターは、当社のキャッシュロジックへの内部変更によるマルチトラックの統合における混乱を経験しました。 この変更は意図せずに、トラフィックを回転させるサービスにつながったMultiTracksへのアウトバウンドAPIリクエストで大きなスパイクを引き起こしました。 結果の失敗は、その API からの応答に依存するプランニング センターサービスの二次エラーも引き起こしました。
この問題は、計画センターのシステム行動に根ざし、インパクトに対して全責任を負います。
## **何が起こっているか**
キャッシュパターンの変更により、マルチトラックに送信したAPIリクエスト数が大幅に増加しました。 彼らのサービスは、トラフィックを回転させ始め、両方のシステムに負荷を増幅したリトライ動作を開始しました。 これにより、マルチトラックの統合および関連するプランニングセンタープロセスのエラーが増加しました。
音楽スタンドアプリはローカルキャッシュを使用するため、顧客への影響はやや最小化しましたが、一部の経験豊富なエラー、応答速度の低下、または欠落したデータ。
##**ソリューション**
退会を迅速に特定し、キャッシュ変更の反転をデプロイしました。 逆にすると、アウトバウンドトラフィックはノーマルとマルチトラックの回転停止に戻り、依存するシステムが回復できるようにします。
##**ルート原因**
* 過剰なアウトバウンド API リクエストを生成したキャッシュ変更
* 障害を悪化させた再試行およびタイムアウト行為
##**予防措置**
1. キャッシュの失敗を避けるために第三者のタイムアウトを見直し、調整する
2. 外部の依存関係のための優雅な劣化戦略を改善
3. アウトバウンド要求の容積に影響を与える変更のための前採用の点検を高めて下さい
##**現在のステータス**
MultiTracksの統合は安定しています。 上記改善を実施し、同様の問題を防ぐとともに、依存関係が不安定になった場合でも、システムが確実に回復し続けることを保証します.