Αυξημένα 404s για σημεία GitHub App s2s σε git/API
- resolved
Μεταξύ 0655 και 0801 UTC στις 10/27, οι πελάτες παρουσίασαν αυξημένους ρυθμούς αποτυχίας για API και git αιτήματα που πιστοποιήθηκαν με μάρκες server-to-server για εφαρμογές GitHub (εξαιρουμένων των σημείων Δράσεις). Κατά τη διάρκεια αυτού του παραθύρου, οι πιστοποιημένες εργασίες git επέστρεψαν λανθασμένα το 404 για το 1,24% (2.6x) των αιτήσεων κατά μέσο όρο και το 2,49% (5,3x) στην κορυφή. Αυτές οι αποτυχίες προκλήθηκαν από ένα προγραμματισμένο γεγονός συντήρησης όπου το GitHub μετανάστευσε σε 7 πίνακες μεταξύ δύο συστάδων MySQL στο IAD και Azure Central US datacenters. Ένας από τους θιγόμενους πίνακες αποθηκεύει αρχεία εγκατάστασης για τα σημεία εξυπηρετητή-σε-server της GitHub App (εξαιρουμένων των ενεργειών). Έχουμε ολοκληρώσει με επιτυχία αρκετές από αυτές τις μεταναστεύσεις τους τελευταίους μήνες χωρίς αξιοσημείωτη επίδραση στον πελάτη. Ωστόσο, σε αυτή την περίπτωση, η μετανάστευση συνέπεσε με προγραμματισμένη εργασία καθαρισμού στον πίνακα αρχείων εγκατάστασης, η οποία διέγραψε περίπου 59 εκατομμύρια εγγραφές από 0444-0617 UTC. Ως αποτέλεσμα, τα εργαλεία gh-ost που χρησιμοποιούνται στη μετανάστευση παρουσίασαν καθυστερήσεις αντιγραφής (μέχρι 1 ώρα στην κορυφή). Στις 0655 UTC, αρχίζουμε τη μετάβαση των πινάκων-στόχων στη νέα συστάδα MySQL, με το 100% των αναγνώσεων περικοπή στις 0721 UTC. Η σύγκρουση του πελάτη ξεκίνησε, αλλά δεν εντοπίστηκε, καθ' όλη τη διάρκεια της περικοπής ανάγνωσης και παρέμεινε μέχρι την ολοκλήρωση της περικοπής εγγραφής στις 0801 UTC. Ενημερώνουμε τις διαδικασίες και τον αυτοματισμό μας για να αποτρέψουμε την επανάληψη αυτού του συμβάντος, συμπεριλαμβανομένης της απενεργοποίησης των επικαλυπτόμενων θέσεων εργασίας καθαρισμού πριν από αυτές τις μεταναστεύσεις και του αποκλεισμού της περικοπής των αναγνώσεων όταν οι καθυστερήσεις αντιγραφής είναι υψηλές.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.