Valori crescute pentru GitHub App s2s în git/API
- resolved
Între 0655 și 0801 UTC pe 10/27, clienții s-au confruntat cu rate crescute de eșec pentru API și cereri de git autentificate cu jetoane server-to-server pentru aplicații GitHub (excl. jetoanele de acțiuni). În timpul acestei ferestre, operațiunile GIT autentificate au returnat în mod greșit 404 pentru 1,24% (2,6x) din cereri în medie și 2,49% (5,3x) la vârf. Aceste eșecuri au fost cauzate de un eveniment de întreținere programată în cazul în care GitHub migrat 7 tabele între două clustere MySQL în IAD nostru și centrele de date din SUA. Una dintre tabelele afectate stochează înregistrări de instalare pentru GitHub App server-to-server jetoane (cu excepția acțiunilor). Am finalizat cu succes mai multe dintre aceste migraţii în ultimele luni fără un impact notabil asupra clienţilor. Cu toate acestea, în acest caz, migrarea a coincis cu un loc de muncă programat de curățare pe tabelul de înregistrări de instalare, care a șters aproximativ 59 de milioane de înregistrări din 0444-0617 UTC. Ca urmare, instrumentul GH-ost utilizat în migrare a înregistrat întârzieri de replicare intercluster (până la 1 oră la vârf). La 0655 UTC, începem să citim de la mesele țintă la noul cluster MySQL, cu 100% de citire cutover la 0721 UTC. Impactul asupra clienților a început, dar nu a fost detectat, de-a lungul decupajului citit și a persistat până la finalizarea decupajului scris la 0801 UTC. Actualizăm procesele și automatizarea pentru a preveni repetarea acestui incident, inclusiv dezactivarea locurilor de muncă de curățare care se suprapun înainte de aceste migrații și blocarea întreruperii citirilor atunci când întârzierile de replicare sunt mari.
Traducere automată din actualizarea oficială a incidentului.