Git/API에서 GitHub App s2s 토큰을 위한 404s를 올리기
- resolved
0655 및 0801 UTC 중 10/27, 고객은 API 및 git 요청에 대한 실패율을 경험했습니다. GitHub Apps 용 서버-to-server 토큰 (작동 토큰 제외). 이 창 중, 정통 git 작업 실수로 404 for 1.24% (2.6x)의 요청 평균과 2.49% (5.3x) 피크에서. 이 실패는 GitHub가 IAD와 Azure Central US 데이터 센터의 두 MySQL 클러스터 사이에 7 테이블을 마이그레이션하는 예정된 유지 보수 이벤트에 의해 발생했습니다. GitHub App Server-to-server 토큰에 대한 영향을받는 테이블 스토어 설치 레코드 중 하나 (작동 제외). 최근 몇 달 동안 성공적으로 완료되었습니다. 그러나이 경우, 마이그레이션은 설치 레코드 테이블에 예정된 정리 작업으로, 이는 약 59 백만 레코드를 삭제 0444-0617 UTC. 결과적으로 마이그레이션 경험 된 인터 클러스터 복제 지연 (최고 1 피크에서 1 시간)에 사용되는 gh-ost 도구. 0655 UTC에서, 우리는 목표 테이블의 새로운 MySQL 클러스터에 대한 읽음을 시작, 0721 UTC의 읽음 차단의 100 %. 고객 영향이 시작되었지만, 읽기 컷 오버를 통해 감지되지 않았으며, 0801 UTC에서 쓰기 컷 오버를 완료 할 때까지 지속되었습니다. 우리는 우리의 프로세스 및 자동화를 업데이트하고이 사건의 반복을 방지하기 위해, 이러한 마이그레이션 이전에 과잉 정리 작업을 해제하고 복제 지연이 높을 때 읽기의 cutover를 차단.
공식 인시던트 업데이트를 자동 번역했습니다.