2026年10月8日 UTC 11:25 postmortem
** 说明:** Flexera One – IT资产管理–所有区域– App门户网站出错和API请求失败
** 时间框架:** 2026年9月24日,12:12 PM PDT — 2026年9月26日,4:38 AM PDT
** 事件摘要**
从2026年9月24日开始,大约12:12 PM PDT,客户使用以API为基础的与Flexera One IT资产管理\(ITAM\)的集成,经历了认证失败,返回了HTTP 401未经授权的回复. App Portal用户在提交请求时也遇到出错,依赖这些API的App Broker和Business Adapter等集成也受到影响. 在北美、欧洲和亚太地区都观察到了影响。
技术小组调查并确认,失败与客户证书或客户配置无关。 应用程序日志显示,认证这些请求所需的组件未能初始化. 进一步调查确定,在9月24日应对更早的ITAM菜单加载事件时,作为预防措施部署的热补丁引入了这种行为.
技术团队在测试中复制了行为,开发出一个矫正修补并验证. 在部署验证过程中,通过更新的热补补剂,查明并解决了次要组件装载问题。 在向生产公司部署更新的热接器后,技术小组核实API的功能正在按预期运行,并于9月26日大约4:38AM PDT恢复服务. 事件随后在获得客户确认的同时转入了延伸监测,并于9月28日收到确认.
恢复服务后,与主要事件分开报告并调查了孤立的间歇性认证故障. 技术小组确定了额外的连接处理条件和针对具体环境的配置条件,并部署了更多的热补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补补 持续到10月1日的监测和客户审查证实,这一问题已无法再重复,没有观察到进一步的情况。
** 循环原因**
事件由9月24日应对更早的ITAM菜单加载事件时作为预防措施而部署的热接器有缺陷而出. hotfix从应用程序的认证组件中删除了依赖性,并更改了应用程序如何读取它用来连接到认证服务的配置.
已部署的配置中包含所需的设置。 然而,应用程序试图使用一种不支持在运行时装入配置的方法来读取它们. 因此,认证所需的组件无法被初始化,而要求认证的请求作为未经授权而被拒绝. 这产生了API出错,App Portal请求失败,这是客户经历的.
同样的行为也发生在生产前的验证环境中,当时热补丁被应用在那里. 由于受影响的API在此环境中没有被积极使用,因此在热补丁到达生产厂前没有被识别出来,具体错误提示尚未针对它们实施.
最初的修复解决了主配置缺陷. 在随后的验证和监测中,确定了额外的组件装载、连接处理和环境特有配置条件,并需要进一步的热补剂,才能确认持续稳定。
** 补救行动**
在事件应对期间采取了以下行动:
1. 事件应对启动:在客户报告认证失败和API出错后,技术小组开始调查。
2. 范围和客户配置评估:技术小组确认,失败与客户资格或配置无关,并确认影响扩展到了多个区域。
3. 确定基本条件:技术小组确定,所需的认证设置已经存在,但无法在运行时读取,并在测试中复制行为。
4. 开发并验证的校正修复:应用代码被更新,以使用辅助方法读取设置。 验证测试确认认证出错不再发生.
5. 已部署的纠正措施已恢复服务:通过更新的热补丁,解决了在部署验证过程中发现的第二个组件装载问题。 在经过更新的热补丁被部署到Production之后,技术小组核实API的功能正在按预期运行.
6. 扩大监测和客户验证:技术小组监测整个周末的服务行为,并获得受影响客户的确认。
7. 事故后补救:在恢复服务后据报出现零星断断续续的故障后,技术小组进一步部署了热补并验证到9月30日。 监测和客户审查一直持续到10月1日,以确认这一问题不再发生。
** 未来预防措施**
事发后,我们进行了回顾,以审查技术原因、热补真过程、监测能力以及造成客户影响的因素。
下列措施已经完成或正在实施:
1. 运行时配置校正: 应用软件已经校正,可以使用支持的方法读取其认证配置,另外在生产环境中安装并验证了额外的热补丁.
2. API监测和警报:正在对受影响的API增加错误率警报,以便在生产前和生产环境中检测认证失败,即使服务没有积极使用。
3. 热补真程序: 我们正在评估对依赖服务的额外检查,如API集成和App门户网站功能,作为Hotfix验证的一部分,然后批准用于生产.