为 GitHub App s2s 以 git/ API 为单位的 S2 升起 404s
- resolved
在协调世界时6:55至08:01于10:27,客户遭遇了API和git请求的故障率提高,GitHub Apps的服务器到服务器代号(不包括动作代号)认证. 在这个窗口中,经认证的git操作错误地将平均1.24%的请求(2.6x)和2.49%的请求(5.3x)退回404个。 GitHub将7个表格迁移到IAD和Azure Central US数据中心的两个MySQL集群之间, 一个受影响的表格存储了GitHub App服务器到服务器的安装记录(不包括动作). 最近几个月我们成功完成了其中的几次迁移,没有显著的客户影响. 然而,在这种情况下,迁移与安装记录表中的预定清理工作同时进行,从协调世界时0444-0617中删除了约5900万个记录. 因此,在迁移中使用的gh-ost工具出现了集群间复制延迟(高峰时最多1小时). 在协调世界时6:55,我们开始将目标表的读取功能转换到新的MySQL集群,在协调世界时07:21,100%的读取功能切换功能. 在整个阅读切换过程中,客户撞击开始,但没有被检测出,并持续到协调世界时08:01完成写入切换. 我们正在更新我们的程序和自动化,以防止这一事件的再起,包括在这些迁移之前使重叠的清理工作无法进行,并在复制延误严重时阻止阅读的剪接.
自动翻译自官方事件更新。