Forhøjede 404s til GitHub App s2s tokens i git / API
- resolved
Mellem 0655 og 0801 UTC på 10 / 27, kunder oplevede øgede fejlrater for API og git anmodninger autentificeret med server- to- server tokens for GitHub Apps (undtagen Handling tokens). Under dette vindue, autentificerede git operationer fejlagtigt returnerede 404 for 1,24% (2,6x) af anmodninger i gennemsnit og 2,49% (5,3x) på toppen. Disse fejl var forårsaget af en planlagt vedligeholdelse begivenhed, hvor GitHub migrerede 7 tabeller mellem to MySQL klynger i vores IAD og Azure Central US datacenter. En af de berørte tabeller gemmer installationsoptegnelser for GitHub App server- to- server tokens (undtagen Handlinger). Vi har gennemført flere af disse vandringer i de seneste måneder uden mærkbar kundepåvirkning. I dette tilfælde faldt migrationen imidlertid sammen med et planlagt oprydningsjob på installationstabellen, som slettede ca. 59 millioner registreringer fra 0444- 0617 UTC. Som et resultat, den ghost værktøj, der anvendes i migration oplevede interklyngereplikation forsinkelser (op til 1 time på toppen). Ved 0655 UTC begynder vi at skifte mellem måltabellerne til den nye MySQL-klynge med 100% af aflæsningerne cutover ved 0721 UTC. Kundepåvirkningen begyndte, men blev ikke opdaget, i hele læsekutoveren og varede indtil afslutningen af skrivecutoveren på 0801 UTC. Vi opdaterer vores processer og automatisering for at forhindre en gentagelse af denne hændelse, herunder deaktivering overlappende oprydning job før disse vandringer og blokere cutover af læsning, når replikation forsinkelser er høje.
Automatisk oversat fra den officielle hændelsesopdatering.