[SEV3] - Sandbox RiskOS Webhooks Not Firking 互联网档案馆的存檔,存档日期2013-12-02
Pending
- resolved
2026年10月27日,部分客户无法接收到"风险OS Sandbox"网游. 这个问题由无效的webhook配置所引起,导致Sandbox通知发送者停止处理事件. 不良配置自此被纠正. 所有处理工作已恢复,网络浏览交付已成功恢复
自动翻译自官方事件更新。
73 Socure incidents · 2025年9月 — official updates, affected components, duration and resolution details.
2026年10月27日,部分客户无法接收到"风险OS Sandbox"网游. 这个问题由无效的webhook配置所引起,导致Sandbox通知发送者停止处理事件. 不良配置自此被纠正. 所有处理工作已恢复,网络浏览交付已成功恢复
自动翻译自官方事件更新。
社保局目前正在经历影响服务的事件,影响到多种应用和服务,包括基于电子同意的社会保障号码核查服务。 由于2026年10月23日大约4:47 PM(ET)首次注意到中断,少数交易受到影响. 一旦收到恢复服务的通知,我们将分享另一个最新情况,电子CBSV正在恢复正常运行.
约4:56(ET)恢复服务,电子CBSV此时正常运行. 我们对此可能造成的不便表示歉意.
自动翻译自官方事件更新。
我们目前正在调查一个在显示和下载DocV Images时断时续的问题。 目前对DocV或评价都没有影响,但图像可能需要更多时间才能出现.
我们的团队已经采取步骤,减轻DocV图像显示和下载的延迟。 目前DocV评价仍然没有影响,小组将继续监测情况。 一旦所有影响得到解决,我们将再次提供最新情况.
这个问题已经解决,我们正在监测业绩,以确保服务保持稳定。 我们对此可能造成的不便表示歉意.
自动翻译自官方事件更新。
社保局经历了影响服务的事件,影响到多种应用和服务,包括基于电子同意的社会保障号码核查服务。 少数交易受到影响,因为2026年10月18日大约2:50PM(ET)开始中断,并在大约3:10PM(ET)被解决. 服务已经恢复,电子CBSV此时正常运行.
自动翻译自官方事件更新。
从3:00 EDT开始,一些客户在使用"风险OS评价API"时可能会遇到间歇出错或失败的请求. 我们已查明一个数据库问题, 我们为干扰道歉 并感谢你在调查期间的耐心.
我们已采取了临时措施, 过去15分钟里, 我们正把事件转到监控中, 情况改变后.
我们赞赏你的耐心,因为我们的团队仍在密切监测局势。 在我们继续努力争取全面解决时,误差率已经下降.
事件已经解决,我们不再看到错误。 服务正常运行, 我们感谢你的耐心,而我们的工作.
自动翻译自官方事件更新。
Socure RiskOS和ID+服务已经恢复. 在东部时间18:12至18:56之间,一个推出错误导致我们服务的错误率暂时激增。 错误已经纠正,服务现在稳定。 我们理解这种停产是不可接受的,一旦对该问题的全面分析完成,将立即提供一份完整的《驻地协调员评估》.
□ ** Root 原因分析** ** 事件:** 食谱APIs 出道 ** 日期范围:** 15-Oct-2026 ** 影响:** Socure API服务中断 ** 现状:** 决定 ****1. 总结** 15-Oct-2026年东方时间18:12至7:00间,Socure经历了其RiskOS和IDQQ API的中断,给用户造成了错误和超时. 第一阶段从18:12到18:20,是几乎所有服务的重大中断. 第二阶段停电时间从18:20到19:00,是依赖KYC数据服务的部分停电,客户看到一些服务错误率和延迟率较高,但仍有流量服务. ****2. 时间表** ** 日期/ 时间\ (ET\) ** 事件 **18:12** QQ 常规清理更改被合并,将一个源回放从一个代码寄存器移到另一个. 在我们的审查工具中有一个错误隐藏了修改的范围. **18:13** 阿尔戈CD在大型Kubernetes集群中全部重新启动大多数服务. **18:20 ** QQ 所有服务舱都在运行。 部分API服务被恢复,虽然KYC服务仍然看到错误率上升. [永久失效連結] **18:21** 起动交通的洪水淹没了我们的KYC搜索服务. 错误率飙升 。 **18:42** SRE诊断出影响KYC搜索的连锁故障,并堵住其流量,从而可以出现. **18:56** QQKYC搜索服务全面上线,SRE将流量返回. 下游服务稳定. **19:00** – 所有交通正常运行,事件宣布稳定. ****3. 根因** *** 基本根源:** 作为持续迁移的一部分,一个待命的SRE改变了ArgoCD,我们用来管理Kubernetes集群的系统Socure运行其服务。 修改范围为单一组别,在推进前经过仔细审查,在其他环境中没有引起任何问题,本不应产生明显影响。 遗憾的是,这一变化更新了变革审查中未出现的遗留环境。 这种传统环境支配着ArgoCD管理的服务,并取消了ArgoCD的许多现场服务。 因此,ArgoCD公司在纠正设置之前,曾短暂地将这些服务从生产中删除。 * ** 促成因素:** KYC搜索服务是Socure基础设施的后端作品,它为我们的一些内部产品提供服务. 当该服务与服务的所有客户端同时从零开始重启时,服务中少量的出舱在负载下坠毁. 这增加了余下舱载重,有的依次坠毁. 这一连串的失败使服务无法像Socure的其余基础设施那样自行恢复。 诊断这种单独的故障模式需要更多的时间,并补救了最初出事后剩余的出错. **4. 决议** 阿尔戈CD的改变立即被恢复,导致服务恢复到以前状态. KYC搜索服务需要人工努力来阻止交通到达它,直到服务中的大多数舱都能够出现. 在服务健康后,我们可以恢复交通,解决整个事件。 ****5. 纠正和预防行动** **6. 经验教训** * Socure在查看它对生产所作的改变时所用的工具不起作用。 我们正在审查这些工具,以确保它们在所有使用的情况下正确运作,并解决这种变化范围不明确的情况。 * 在代理支助下加强现有改革审查进程。 在此情况下,计划中的具体变化并不明显,增加一名有广泛培训模式支持的审查员将有助于确保在提交之前抓住问题。 * 即使是似乎没有影响的变化,当它们对我们的生产工作进行治理时,也可能是危险的,应该从美国工作时间中进一步转移。 * 我们的KYC搜索服务在不完全在线时,在获得完全流量时,很容易遇到“隐蔽”问题。 我们需要加强我们的断路器,以防止这一问题再起。 * 我们用一个Kubernetes集群管理太多的核心API服务。 尽管该集群分布在多个可用区,但共享控制平面产生的爆炸半径太高,无法改变该集群。 ****7. 今后步骤和持续承诺** Socure理解我们的客户依赖我们作为关键商业流的关键提供者,这种服务中断是不可接受的. 我们对该问题所造成的影响表示歉意,并承诺确保不再发生这种情况。 为此,我们将详细介绍我们在11月前重新对应用程序布局进行存档的计划,并改进明年Q1的KYC搜索服务的复原力.
自动翻译自官方事件更新。
Socure RiskOS和ID+服务已经恢复. 在东部时间18:12至18:56之间,一个推出错误导致我们服务的错误率暂时激增。 错误已经纠正,服务现在稳定。 我们理解这种停产是不可接受的,一旦对该问题的全面分析完成,将立即提供一份完整的《驻地协调员评估》.
自动翻译自官方事件更新。
目前,我们正经历一个影响服务供应的积极事件。 我们目前正在调查这一问题,并将在得到补充资料后立即提供最新情况.
Socure RiskOS和ID+服务已经恢复. 在东部时间18:20至18:56之间,一个推出错误导致我们服务的错误率暂时激增。 错误已经纠正,服务现在稳定。 我们理解这种停产是不可接受的,一旦对该问题的全面分析完成,将立即提供一份完整的《驻地协调员评估》.
Socure RiskOS和ID+服务已经恢复. 在东部时间18:12至18:56之间,一个推出错误导致我们服务的错误率暂时激增。 错误已经纠正,服务现在稳定。 我们理解这种停产是不可接受的,一旦对该问题的全面分析完成,将立即提供一份完整的《驻地协调员评估》.
Socure RiskOS和ID+服务已经恢复. 在东部时间18:12至18:56之间,一个推出错误导致我们服务的错误率暂时激增。 错误已经纠正,服务现在稳定。 我们理解这种停产是不可接受的,一旦对该问题的全面分析完成,将立即提供一份完整的《驻地协调员评估》.
□ ** Root 原因分析** ** 事件:** 食谱APIs 出道 ** 日期范围:** 15-Oct-2026 ** 影响:** Socure API服务中断 ** 现状:** 决定 ****1. 总结** 15-Oct-2026年东方时间18:12至7:00间,Socure经历了其RiskOS和IDQQ API的中断,给用户造成了错误和超时. 第一阶段从18:12到18:20,是几乎所有服务的重大中断. 第二阶段停电时间从18:20到19:00,是依赖KYC数据服务的部分停电,客户看到一些服务错误率和延迟率较高,但仍有流量服务. ****2. 时间表** ** 日期/ 时间\ (ET\) ** 事件 **18:12** QQ 常规清理更改被合并,将一个源回放从一个代码寄存器移到另一个. 在我们的审查工具中有一个错误隐藏了修改的范围. **18:13** 阿尔戈CD在大型Kubernetes集群中全部重新启动大多数服务. **18:20 ** QQ 所有服务舱都在运行。 部分API服务被恢复,虽然KYC服务仍然看到错误率上升. [永久失效連結] **18:21** 起动交通的洪水淹没了我们的KYC搜索服务. 错误率飙升 。 **18:42** SRE诊断出影响KYC搜索的连锁故障,并堵住其流量,从而可以出现. **18:56** QQKYC搜索服务全面上线,SRE将流量返回. 下游服务稳定. **19:00** – 所有交通正常运行,事件宣布稳定. ****3. 根因** *** 基本根源:** 作为持续迁移的一部分,一个待命的SRE改变了ArgoCD,我们用来管理Kubernetes集群的系统Socure运行其服务。 修改范围为单一组别,在推进前经过仔细审查,在其他环境中没有引起任何问题,本不应产生明显影响。 遗憾的是,这一变化更新了变革审查中未出现的遗留环境。 这种传统环境支配着ArgoCD管理的服务,并取消了ArgoCD的许多现场服务。 因此,ArgoCD公司在纠正设置之前,曾短暂地将这些服务从生产中删除。 * ** 促成因素:** KYC搜索服务是Socure基础设施的后端作品,它为我们的一些内部产品提供服务. 当该服务与服务的所有客户端同时从零开始重启时,服务中少量的出舱在负载下坠毁. 这增加了余下舱载重,有的依次坠毁. 这一连串的失败使服务无法像Socure的其余基础设施那样自行恢复。 诊断这种单独的故障模式需要更多的时间,并补救了最初出事后剩余的出错. **4. 决议** 阿尔戈CD的改变立即被恢复,导致服务恢复到以前状态. KYC搜索服务需要人工努力来阻止交通到达它,直到服务中的大多数舱都能够出现. 在服务健康后,我们可以恢复交通,解决整个事件。 ****5. 纠正和预防行动** **6. 经验教训** * Socure在查看它对生产所作的改变时所用的工具不起作用。 我们正在审查这些工具,以确保它们在所有使用的情况下正确运作,并解决这种变化范围不明确的情况。 * 在代理支助下加强现有改革审查进程。 在此情况下,计划中的具体变化并不明显,增加一名有广泛培训模式支持的审查员将有助于确保在提交之前抓住问题。 * 即使是似乎没有影响的变化,当它们对我们的生产工作进行治理时,也可能是危险的,应该从美国工作时间中进一步转移。 * 我们的KYC搜索服务在不完全在线时,在获得完全流量时,很容易遇到“隐蔽”问题。 我们需要加强我们的断路器,以防止这一问题再起。 * 我们用一个Kubernetes集群管理太多的核心API服务。 尽管该集群分布在多个可用区,但共享控制平面产生的爆炸半径太高,无法改变该集群。 ****7. 今后步骤和持续承诺** Socure理解我们的客户依赖我们作为关键商业流的关键提供者,这种服务中断是不可接受的. 我们对该问题所造成的影响表示歉意,并承诺确保不再发生这种情况。 为此,我们将详细介绍我们在11月前重新对应用程序布局进行存档的计划,并改进明年Q1的KYC搜索服务的复原力.
自动翻译自官方事件更新。
目前,由于特别服务协定的响应,我们正经历一场计划外的停电,影响到eCBSV模块,造成5xx错误。 Socure已经与供应商联系,调查这一问题,并确定何时恢复服务.
过去几分钟,出错率有所下降。 我们正在监测这些费率,等待我们的供应商作出反应.
社保局经历了影响服务的事件,影响到多种应用和服务,包括基于电子同意的社会保障号码核查服务。 干扰开始于2026年10月15日10:19AM(ET)左右,后于约10:41AM(ET)解决. 服务已经恢复,电子CBSV此时正常运行.
自动翻译自官方事件更新。
我们经历了影响监视列表+和监视列表总理的不断升级的交易失败。 问题已经解决,我们正在监测业绩,以确保服务保持稳定。 我们对此可能造成的不便表示歉意.
自动翻译自官方事件更新。
我们正在调查一个造成延误的问题,在风险管理系统案件管理UI中反映了情况更新。 我们的工程团队正积极致力于找出根源并恢复正常的更新行为. 一旦获得更多信息,我们将提供进一步的最新资料。 这不影响API的评价请求.
我们已查明影响风险管理系统案件管理UI更新的问题的根源。 这个问题仅限于一个子案件,并特别影响到案件搜索功能,该功能可能暂时显示过时的案件状态. 请注意,案件清单和个别案件细节页中显示的案件状况数据是准确的,反映了最新的情况。 我们的工程小组为所有新更新的案件进行了修复,并正在积极努力重新汇总其余受影响案件,以确保所有搜索数据的一致性。 一旦正常行为完全恢复,我们将再提供一次更新.
影响案件最新情况的问题已经解决。 所有新案件都得到正确处理。 我们为这可能造成的任何不便表示诚挚的歉意,并赞赏你在我们团队努力解决问题期间的耐心.
自动翻译自官方事件更新。
9月21日的6:28和6:57 AM ET在一次业务活动中出现一个问题,导致一些与过去一个月的旧评价有关的网络记录通知再次送达。 目前的评价和网页浏览处理没有受到影响。 这个问题已经得到解决。 我们为这可能造成的任何混乱或更多噪音而道歉.
自动翻译自官方事件更新。
我们正在调查影响仪表板上批量处理的延误。 在我们审查这一问题时,客户可能会遇到拖延处理的问题.
这一事件已经得到解决.
自动翻译自官方事件更新。
我们正观察到一些客户利用我们的欺诈和合成产品而承受越来越大的影响。 我们的小组正在积极调查这个问题。 API请求正在成功完成,我们目前没有观察到任何API失败. 一旦获得更多信息,我们将提供进一步的最新资料.
我们发现一些客户使用欺诈和合成产品, 我们将继续密切监测局势.
影响欺诈和合成服务的问题已得到解决,服务已恢复正常运作。 客户在获得欺诈和合成服务时不应再遇到更多的延迟或延误
自动翻译自官方事件更新。
8:30至2:00的PM EST间,我们观察到5xx出错率上升,导致间歇出错或一些顾客请求失败. 总体影响很小,不到0.01%。 出错率此后已恢复正常. 这个问题此时已完全解决. 我们为任何干扰道歉 并感谢你的耐心.
自动翻译自官方事件更新。
7:00至7:20 AM EST之间,我们观察到5xx出错率上升,这可能导致间歇出错或一些客户的请求失败. 错误率自此已恢复正常,我们正在调查根源,以确保我们已充分解决这一问题。 我们为任何干扰道歉 并感谢你的耐心.
** Root 原因分析** ** 事件:** 服务间歇性升出5xx错误 ** 日期范围:** 2026年9月9日,7:00 AM – 9:20 AM EDT\(大约2小时20分钟间歇撞击) ** 影响:** 向EmailAuthScore API提交的一些请求以及相关服务,间歇地返回了错误回复. 影响是断断续续的,仅限于以下时间表所描述的界定窗口。 ** 现状:** 决定 ****1. 总结** 2026年9月9日,计划后端处理能力增加,导致用于支持下游处理多个服务的内部基础设施部分的连接负荷增加. 这一构成部分达到内部能力阈值,引入了处理延迟,并导致电子邮件AuthScore API和相关服务出现间歇性错误反应,用于一组请求。 这一问题是在影响窗口期间通过内部监测和报告相结合的方式确定的。 Socure工程将出错与最近的能力变化相挂钩并重回原位,从而阻止了出错的最初增加. 其次,错误的相关增加是先前为不同的内部服务而单独改变的能力,将额外负荷加到同一个共享组件上;工程应用了进一步的缓解,然后所有受影响的服务恢复正常而稳定的运行。 第5节概述了索库尔承诺采取的纠正和预防行动,重点是提高基础设施能力的能见度,并避免任何单一内部部分出现延误,从而影响客户申请的处理。 ****2. 时间表** *** 日期/时间(EDT)** **** 活动** | -- -- -- -- -- -- -- ####################################################### ######################################################################################################################################################################################################### | ** 2026年9月9日 07:20 AM** * * 最近的能力变化已恢复;出错率已恢复正常。 ####################################################### ######################################################################################################################################################################################################### | **9月9日, 2026 09:20 AM ** + 适用了额外的缓解措施;错误率恢复正常并保持稳定。 ######9月9日,2026 01:13 PM########## 作为一项预防措施,Socure临时将一部分内部处理从受影响的内部部分改道,以安全地完成剩余能力的增加。 修改后没有发现其他错误。 ****3. 根因** *** 基本根源:** 作为在预期需求之前增加系统容量的计划工作的一部分,Socure提高了后端服务的处理能力. 这一变化增加了用于支持下游处理这些服务的内部通讯组件的连接数量。 该部分达到了内部连接能力限制,导致连接和处理延误。 这些拖延给请求处理带来了额外的耐用性,有时还给请求处理回压,导致电子邮件AuthScore API的间歇性出错率高,以及上述撞击窗口期间对一组请求的相关服务. * ** 促成因素:** * 基础设施能力需求突然增加,超过了内部通信部分立即无法提供的能力。 **4. 决议** 索克雷工程发现高误差率与最近的能力变化有关,便恢复了这一变化,从而阻止了错误的最初增加. 其次,错误的相关增加是先前为不同的内部服务而单独改变的能力,将额外负荷加到同一个共享组件上。 工程应用了额外的缓解措施,包括将一部分内部处理从受影响的部分转移到受影响的服务。 在采取这些行动后,所有受影响的服务恢复了正常、稳定的运作,Socure通过持续监测证实了这一点。 ****5. 纠正和预防行动** ** 行动** ** 说明** ** ETA / 现状** * * | -- -- -- -- -- -- -- -- -- -- -- -- -- 优化基础设施能力利用 调整后后端服务能力和连接使用,以确保处理保持在支持的基础设施限度内,并减少类似能力相关问题的风险。 {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你还好吧? • 增加通讯基础设施的能力; {\fn黑体\fs22\bord1\shad0\3aHBE\4aH00\fscx67\fscy66\2cHFFFFFF\3cH808080}你还好吧? · 加强能力监测和警示; | 进行中。 ETA 2026年9月30日 (中文(简体) ). **6. 经验教训** * 在能力变化之前,需要对基础设施健康进行主动监测,而不仅仅是应用一级的监测。 ****7. 今后步骤和持续承诺** 我们承诺: * 完成第5节所列的纠正和预防行动。 * 在今后扩大规模活动之前,提高关键内部基础设施的健康和能力的能见度。 * 一旦所有纠正行动完成,即提供最新的后续行动.
自动翻译自官方事件更新。
目前我们正在调查一个对DocV和监视名单监测服务产生影响的问题,今天9月8日,从9:05到9:30,发现错误。 系统恢复了,我们正在努力确定一个根源.
9月8日影响DocV和监视名单监测服务的问题已经得到解决。 自10:35 AM EST以来,没有观察到客户受到影响。 我们为这可能造成的破坏道歉.
** Root 原因分析** ** 事件:** 影响账户数据的服务中断访问 ** 日期范围:** 2026年9月8日\(上午10:04至上午10:31) ** 影响:** DocV 和监视列表监视器 ** 现状:** 决定 1. 总结 后端数据库能力意外耗竭,暂时阻止了我们的平台检索客户请求子集的账户信息. 在事件窗口\(10:04 AM至10:31 AM EDT of 8-Sep-2026\)期间,部分客户端请求在试图查询账户细节时遭遇了较高的出错率. 经过例行的维护更新后,从备份环境并行连接超过正常阈值,使现有数据库能力饱和. 工程组安全地切断了冗余环境并刷新了活性连接,恢复了系统的完全响应能力和稳定性. 2. 时间表 ** 日期/时间(ET)** ** 活动** * | -- -- -- -- -- -- -- 第一次错误 10:04 AM EST, 8 September 2026 2026年9月8日, 10:30 AM EST, 8 September 2026 | 事件已解决, 3. 根源 *** 基本根源:** 在排定的系统更新过程中,部署环境之间的连接保留率提高,导致数据库连接池饱和。 在高峰流量下,这导致处理延迟,并要求对依赖性平台服务进行超时. * ** 促成因素:** * 固定连接超时参数延迟了被动环境及时发布闲置数据库分配. * 数据库节点头室不足妨碍对备用环境产生的额外连接进行无缝处理。 * ** 不缴款因素:** * 无 4. 决 定 通过以下立即行动恢复了全面服务的完整性: 1. 将非活性环境连接隔离到立即自由的数据库集合能力。 2. 进行主动服务节点的滚动重置,以重新建立明确的数据库连接基线。 5. 纠正和预防行动 ** 行动** ** 说明** ** ETA / 现状** * * | -- -- -- -- -- -- -- -- -- -- -- -- -- * 改进数据存取模式; [2026年10月15日讯] QQ 自动连接管理 QQ 加强连接生命周期管理和自动化清理程序,用于不活动的背景任务. [2026年10月15日讯] 6. 经验教训 * ** 加强部署隔离:** 我们正在更新部署程序,以确保在主动和被动环境中完全分开资源,消除升级期间的跨环境资源争议。 * ** 优化数据库资源分配:** 为确保最高业绩,我们正在重新平衡工作量,并增强整个系统的能力和效率。 7. 今后步骤和持续承诺 我们承诺: * 按照共同的时间表解决已查明的根源 * 在最终确定永久应用和基础设施改进的同时,实施积极主动的安全警卫和监测门槛.
自动翻译自官方事件更新。
我们的供应商SSA报告说,目前存在着影响电子CBSV模块的更高延迟问题。 因此,你可能会经历更高的响应时间. 我们的小组正同他们积极合作,以尽快解决这一问题。 我们为可能造成的任何不便道歉,并赞赏你的耐心和理解.
SA从2:00 AM ET开始解决了影响eCBSV模块的高延迟. 反应时间已恢复正常。 谢谢你的耐心和理解.
自动翻译自官方事件更新。
We are investigating a slight degradation on the Watchlist product due to latency. Affecting both ID+ and RiskOS. The team is actively investigating this issue at this time.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
Between 1:21 AM and 2:15 AM EDT on August 4, 2026, a subset of DocV webhook delivery notifications experienced elevated 401 response rates. The issue is fully resolved and webhook delivery is now operating normally. A full Root Cause Analysis (RCA) will be shared once the investigation concludes.