Elevato 404s per GitHub App s2s gettoni in git/API
- resolved
Tra il 0655 e il 0801 UTC il 10/27, i clienti hanno registrato un aumento dei tassi di guasto per le richieste API e git autenticati con i token server-to-server per le app GitHub (esclusi i gettoni Azioni). Durante questa finestra, le operazioni di git autenticate sono ritornate per errore 404 per 1.24% (2.6x) di richieste in media e 2.49% (5.3x) al picco. Questi guasti sono stati causati da un evento di manutenzione programmato in cui GitHub migrava 7 tabelle tra due cluster MySQL nei nostri datacenter IAD e Azure Central US. Una delle tabelle interessate memorizza i record di installazione per i token server-to-server di GitHub App (escluse le Azioni). Abbiamo completato con successo molte di queste migrazioni negli ultimi mesi senza notevole impatto del cliente. Tuttavia, in questo caso, la migrazione coincise con un lavoro di pulizia programmato sulla tabella dei record di installazione, che ha cancellato circa 59 milioni di record dal 0444-0617 UTC. Di conseguenza, la strumentazione gh-ost utilizzata nella migrazione ha sperimentato ritardi di replica intercluster (fino a 1 ora al picco). A 0655 UTC, iniziamo le letture di transizione delle tabelle di destinazione al nuovo cluster MySQL, con il 100% delle letture cutover a 0721 UTC. L'impatto del cliente è iniziato, ma non è stato rilevato, durante il taglio di lettura e persistito fino al completamento del cutover di scrittura al 0801 UTC. Stiamo aggiornando i nostri processi e l'automazione per evitare una ripetizione di questo incidente, tra cui disabilitare i lavori di pulizia sovrapposti prima di queste migrazioni e bloccare il taglio delle letture quando i ritardi di replica sono alti.
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.