Erhöhte 404s für GitHub App s2s Token in git/API
- resolved
Zwischen 0655 und 0801 UTC am 27.10. erlebten Kunden erhöhte Fehlerraten für API- und Git-Anfragen, die mit Server-zu-Server-Token für GitHub-Apps authentifiziert wurden (ausgenommen Actions-Token). Während dieses Fensters gaben authentifizierte Git-Operationen fälschlicherweise 404 für durchschnittlich 1,24% (2,6x) der Anfragen und 2,49% (5,3x) in Spitzenzeiten zurück. Diese Fehler wurden durch ein geplantes Wartungsereignis verursacht, bei dem GitHub 7 Tabellen zwischen zwei MySQL-Clustern in unseren IAD- und Azure Central US-Rechenzentren migrierte. Eine der betroffenen Tabellen speichert Installationsaufzeichnungen für GitHub App Server-zu-Server-Token (ausgenommen Aktionen). Wir haben mehrere dieser Migrationen in den letzten Monaten ohne nennenswerte Kundenauswirkungen erfolgreich abgeschlossen. In diesem Fall fiel die Migration jedoch mit einem geplanten Bereinigungsauftrag auf der Tabelle der Installationsaufzeichnungen zusammen, der etwa 59 Millionen Datensätze von 0444-0617 UTC löschte. Infolgedessen kam es bei dem bei der Migration verwendeten gh-ost-Tooling zu Verzögerungen bei der Intercluster-Replikation (bis zu 1 Stunde in der Spitze). Bei 0655 UTC beginnen wir, die Lesewerte der Zieltabellen auf den neuen MySQL-Cluster umzustellen, wobei 100% der Lesewerte bei 0721 UTC umgestellt werden. Der Kundeneinfluss begann, wurde jedoch während des gesamten Lese-Cutovers nicht erkannt und bestand bis zum Abschluss des Schreib-Cutovers um 0801 UTC. Wir aktualisieren unsere Prozesse und Automatisierung, um eine Wiederholung dieses Vorfalls zu verhindern, einschließlich der Deaktivierung überlappender Bereinigungsjobs vor diesen Migrationen und der Blockierung der Unterbrechung von Lesevorgängen, wenn Replikationsverzögerungen hoch sind.
Automatisch aus der offiziellen Störungsmeldung übersetzt.