GitHub App s2s トークンの GitHub App s2s の 404s を git/API で強化
- resolved
10/27で0655と0801 UTCの間、顧客は、GitHub Apps(アクショントークンを除く)のサーバー・ツー・サーバー・トークンで認証されたAPIとgitリクエストの失敗率を増加させました。 このウィンドウでは、認証された git 操作が誤って 404 を 1.24% (2.6x) ピーク時の平均と 2.49% (5.3x) のリクエストに返しました。 これらの障害は、GitHubがIADとAzure Central USのデータセンターの2つのMySQLクラスター間で7テーブルを移行したスケジュールされたメンテナンスイベントによって引き起こされました。 影響を受けるテーブルの1つは、GitHub App server-to-serverトークン(アクションを除く)のインストールレコードを保存します。 当社は、顧客の衝撃を許さないため、近年、これらのマイグレーションの一部を正常に完了しました。 しかし、この場合、マイグレーションは、インストールレコードテーブルにスケジュールされたクリーンアップジョブと一致し、0444-0617 UTCから約59万レコードを削除しました。 その結果、マイグレーションで用いられる gh-ost ツーリングは、インタークラスターレプリケーション遅延(ピーク時最大1時間)を経験しました。 0655 UTCでは、ターゲットテーブルの読み込みを新しいMySQLクラスターに移行し、721 UTCで読み取り値の100%を移行します。 顧客のインパクトは始まりましたが、読み取り切替を通して検出されず、0801 UTCで書き込み切替が完了するまで持続しました。 これらのマイグレーションの前にクリーンアップジョブを解除し、レプリケーションの遅延が高くなるときに読み替えをブロックするなど、このインシデントの繰り返しを防ぐため、プロセスと自動化を更新しています.
公式のインシデント更新を自動翻訳しています。