Élevé 404s pour les jetons GitHub App s2s en git/API
- resolved
Entre 0655 et 0801 UTC sur 10/27, les clients ont connu des taux de défaillance accrus pour les requêtes API et git authentifiées avec des jetons de serveur à serveur pour les applications GitHub (à l'exclusion des jetons Actions). Au cours de cette fenêtre, les opérations authentifiées de git ont retourné 404 pour 1,24% (2,6x) des demandes en moyenne et 2,49% (5,3x) au pic. Ces défaillances ont été causées par un événement de maintenance programmé où GitHub a migré 7 tables entre deux grappes MySQL dans nos centres de données IAD et Azure Central US. L'une des tables touchées stocke les enregistrements d'installation pour les jetons GitHub App server-to-server (hors Actions). Nous avons complété avec succès plusieurs de ces migrations au cours des derniers mois sans impact client notable. Cependant, dans ce cas, la migration a coïncidé avec un travail de nettoyage prévu sur la table des enregistrements d'installation, qui a supprimé environ 59 millions d'enregistrements de 0444-0617 UTC. En conséquence, l'outillage gh-ost utilisé dans la migration a connu des retards de réplication entre les groupes (jusqu'à 1 heure de pointe). À 6h55 UTC, nous commençons la transition des lectures des tables cibles vers le nouveau cluster MySQL, avec 100% des lectures coupées à 07h21 UTC. L'impact du client a commencé, mais n'a pas été détecté, tout au long de la coupe en lecture et a persisté jusqu'à la fin de la coupe en écriture à 0801 UTC. Nous mettons à jour nos processus et l'automatisation pour éviter une répétition de cet incident, y compris la suppression des tâches de nettoyage qui se chevauchent avant ces migrations et le blocage des lectures lorsque les délais de réplication sont élevés.
Traduit automatiquement depuis la mise à jour officielle de l'incident.