Podwyższone 404s dla żetonów GitHub App s2s w git / API
- resolved
W dniach 0655-0801 UTC na dzień 10 / 27 klienci doświadczyli zwiększonych wskaźników awarii dla API i Git żądań uwierzytelnionych za pomocą żetonów serwotoserver dla aplikacji GitHub Apps (z wyłączeniem żetonów Action). W tym oknie uwierzytelnione operacje git błędnie zwróciły 404 za 1,24% (2,6x) wniosków średnio i 2,49% (5,3x) na szczycie. Te awarie były spowodowane planowym wydarzeniem konserwacyjnym, w którym GitHub migrował 7 tabel pomiędzy dwoma klastrami MySQL w naszym IAD i Azure Central US. Jedna z tych tabel przechowuje rekordy instalacji dla kart serwerowych GitHub App (z wyłączeniem Akcji). Udało nam się ukończyć kilka z tych migracji w ostatnich miesiącach bez znaczącego wpływu na klientów. Jednakże w tym przypadku migracja zbiegła się z planowaną pracą sprzątania w tabeli rekordów instalacji, która usunęła około 59 mln rekordów z 0444- 0617 UTC. W rezultacie ooooooooooooling używane w migracji wystąpiły opóźnienia w replikacji między klastrami (do 1 godziny na szczycie). Przy 0655 UTC, rozpoczynamy przechodzenie do odczytów tabel docelowych do nowego klastra MySQL, ze 100% odczytów na 0721 UTC. Uderzenie klienta rozpoczęło się, ale nie zostało wykryte, w trakcie odczytu wycinacza i trwało do zakończenia odcięcia zapisu na 0801 UTC. Aktualizujemy nasze procesy i automatyzację, aby zapobiec powtórzeniu się tego incydentu, w tym usuwamy nakładające się na siebie zadania związane z czyszczeniem przed tymi migracjami i blokujemy odcięcie odczytów, gdy opóźnienia replikacji są wysokie.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.