Elevação de 404s para fichas do GitHub App s2s em git/API
- resolved
Entre 0655 e 0801 UTC em 10/27, os clientes experimentaram taxas de falha aumentadas para API e pedidos git autenticados com tokens servidor-servidor para o GitHub Apps (excluindo tokens Actions). Durante esta janela, as operações git autenticadas devolveram erroneamente 404 para 1,24% (2,6x) de pedidos em média e 2,49% (5,3x) no pico. Essas falhas foram causadas por um evento de manutenção agendado onde o GitHub migrou 7 tabelas entre dois clusters MySQL em nossos datacenters IAD e Azure Central US. Uma das tabelas afetadas armazena registros de instalação para tokens servidor-para-servidor do GitHub App (excluindo Ações). Completamos com sucesso várias dessas migrações nos últimos meses sem impacto notável do cliente. No entanto, neste caso, a migração coincidiu com um trabalho de limpeza programado na tabela de registros de instalação, que deletou aproximadamente 59 milhões de registros de 0444-0617 UTC. Como resultado, a ferramenta gh-ost usada na migração experimentou atrasos de replicação inter-cluster (até 1 hora no pico). Às 0655 UTC, iniciamos a transição de leituras das tabelas-alvo para o novo cluster MySQL, com 100% de leituras de corte às 0721 UTC. O impacto do cliente começou, mas não foi detectado, durante todo o corte de leitura e persistiu até a conclusão do corte de escrita em 0801 UTC. Estamos atualizando nossos processos e automação para evitar uma repetição deste incidente, incluindo desativar tarefas de limpeza sobrepostas antes dessas migrações e bloquear o corte de leituras quando os atrasos de replicação são elevados.
Traduzido automaticamente da atualização oficial do incidente.