Повышенные 404 для токенов GitHub App s2s в git/API
- resolved
Между 0655 и 0801 UTC на 10/27 клиенты испытывали повышенную частоту отказов для API и запросов git, аутентифицированных с токенами сервер-сервер для приложений GitHub (за исключением токенов Actions). Во время этого окна аутентифицированные операции git по ошибке возвращали 404 на 1,24% (2,6x) запросов в среднем и 2,49% (5,3x) на пике. Эти сбои были вызваны запланированным мероприятием по техническому обслуживанию, когда GitHub переместил 7 таблиц между двумя кластерами MySQL в наших центрах обработки данных IAD и Azure Central US. В одной из затронутых таблиц хранятся записи установки токенов GitHub App server-to-server (за исключением Actions). В последние месяцы мы успешно завершили несколько таких миграций без заметного влияния на клиентов. Однако в этом случае миграция совпала с запланированной работой по очистке таблицы записей установки, которая удалила примерно 59 миллионов записей с 0444-0617 UTC. В результате инструментарий gh-ost, используемый при миграции, испытывал задержки репликации между кластерами (до 1 часа на пике). В 0655 UTC мы начинаем переход считывания целевых таблиц в новый кластер MySQL, при этом 100% считывания срезаются в 0721 UTC. Воздействие на клиента началось, но не было обнаружено, на протяжении всего огранки считывания и сохранялось до завершения огранки записи в 0801 UTC. Мы обновляем наши процессы и автоматизацию, чтобы предотвратить повторение этого инцидента, в том числе отключаем перекрывающиеся работы по очистке до этих миграций и блокируем сокращение считывания, когда задержки репликации высоки.
Автоматический перевод официального обновления инцидента.