73 Socure incidents · сентябрь 2025 г. — official updates, affected components, duration and resolution details.
27 октября 2026 года некоторые клиенты не смогли получить веб-хуки RiskOS Sandbox. Проблема была вызвана недействительными конфигурациями webhook, которые заставили отправителя уведомлений Sandbox прекратить обработку событий. С тех пор искаженные конфигурации были исправлены. Вся обработка восстановлена, и доставка веб-хуков успешно возобновлена
Автоматический перевод официального обновления инцидента.
В настоящее время SSA переживает событие, затрагивающее несколько приложений и услуг, включая услугу проверки номера социального страхования на основе электронного согласия (eCBSV). Небольшое количество транзакций затронуто, поскольку нарушение было впервые отмечено примерно в 4:47 вечера (ET) 23 октября 2026 года. Мы поделимся еще одним обновлением, как только получим уведомление о том, что услуга была восстановлена, и eCBSV снова работает нормально.
Примерно в 4:56 (ET) служба была восстановлена, и в настоящее время eCBSV работает нормально. Мы приносим извинения за любые неудобства, которые это могло вызвать.
Автоматический перевод официального обновления инцидента.
В настоящее время мы изучаем проблему, которая вызывает периодическую задержку с отображением и загрузкой изображений DocV для небольшого процента завершенных транзакций. В настоящее время нет влияния на DocV или оценки, но изображения могут занять дополнительное время.
Наша команда предприняла шаги, чтобы уменьшить задержку, испытываемую для отображения и загрузки изображений DocV. В настоящее время оценки DocV по-прежнему не оказывают влияния, и команда будет продолжать следить за ситуацией. Мы предоставим еще одно обновление, как только все последствия будут решены.
Эта проблема решена, и мы отслеживаем производительность, чтобы обеспечить стабильность услуг. Мы приносим извинения за любые неудобства, которые это могло вызвать.
Автоматический перевод официального обновления инцидента.
SSA пережила событие, которое повлияло на несколько приложений и сервисов, включая службу проверки номера социального страхования на основе электронного согласия (eCBSV). Небольшое количество транзакций было затронуто, поскольку нарушение началось примерно в 2:50 вечера (ET) 18 октября 2026 года и было решено примерно в 3:10 вечера (ET). Сервис был восстановлен, и в настоящее время eCBSV работает в штатном режиме.
Автоматический перевод официального обновления инцидента.
Начиная с 3:00 EDT, некоторые клиенты могут испытывать периодические ошибки или неисправные запросы при использовании API оценки рисков. Мы выявили проблему с базой данных и активно работаем над ее решением. Мы приносим извинения за нарушение и ценим ваше терпение, пока мы расследуем.
Мы приняли промежуточную меру, и повышенный уровень ошибок снизился. За последние 15 минут мы не наблюдали связанных с этим ошибок. Мы переносим инцидент на мониторинг, пока продолжаем работать над полным разрешением. Мы поделимся еще одним обновлением, когда ситуация изменится.
Мы ценим ваше терпение, поскольку наша команда все еще внимательно следит за ситуацией. Показатели ошибок снизились, поскольку мы продолжаем работать над полным разрешением.
Инцидент был устранен, и мы больше не видим ошибок. Услуги работают в обычном режиме, и мы будем продолжать следить за производительностью. Мы ценим ваше терпение, пока мы работали над этим.
Автоматический перевод официального обновления инцидента.
Восстановлены службы Socure RiskOS и ID+. Ошибка в развертывании вызвала временный всплеск количества ошибок в наших сервисах между 18:12 и 18:56 по восточному времени. Ошибка исправлена, услуги стабильны. Мы понимаем, что это отключение недопустимо, и полный RCA будет доступен, как только будет завершен полный анализ проблемы.
##**Анализ первопричины** ** Инцидент:** Отключение Socure API ** Дата: ** 15 октября-2026 ** Воздействие:** Прерывание службы для Socure API **Статус:** решенный ###**1 Резюме** 15 октября 2012 года между 18:12 и 19:00 по восточному времени Socure прервал работу своих API-интерфейсов RiskOS и ID+, что привело к ошибкам и тайм-аутам для пользователей. Первая фаза проходила с 18:12 до 18:20 и была серьезным перерывом практически для каждой службы. Второй этап сбоя проходил с 18:20 до 19:00 и был частичным сбоем для служб, которые полагаются на данные KYC, где клиенты видели повышенные показатели ошибок и задержки для некоторых услуг, но трафик все еще обслуживался. ###**2, временная шкала** ** Дата / Время \(ET\)** **18:12** | Обычная очистка сливается, перемещая исходный репо из одного хранилища кода в другое. Ошибка в нашем инструменте обзора скрывает масштаб изменений. **18:13** | ArgoCD перезапускает большинство сервисов в крупном кластере Kubernetes одновременно. **18:20** Все служебные капсулы работают. Сервис частичного API восстановлен, хотя в сервисах KYC по-прежнему наблюдается повышенный уровень ошибок. **18:21** | Наводнение трафика стартапов переполняет наш сервис поиска KYC. Скачок числа ошибок. **18:42** | SRE диагностирует каскадный сбой, влияющий на поиск KYC, и блокирует трафик, чтобы он мог появиться. **18:56** | Служба поиска KYC полностью готова, и SRE возвращает ей трафик. Нисходящие службы стабилизируются. **19:00** | Весь трафик работает как обычно, инцидент объявлен стабильным. ###**3. Коренная причина** ** Основная причина:** В рамках продолжающейся миграции SRE по вызову внесла изменения в ArgoCD, систему, которую мы используем для управления кластерами кубернетов, на которой работает Socure. Изменение было отнесено к одному кластеру, было тщательно рассмотрено перед продвижением, не вызвало проблем в других средах, в которых оно было протестировано, и не должно было иметь видимого воздействия. К сожалению, изменение обновило устаревшую настройку, которая не появилась в обзоре изменений. Эти устаревшие настройки управляли тем, какими услугами управлял ArgoCD, и удаляли многие живые услуги из ArgoCD. В результате ArgoCD ненадолго убрал эти услуги с производства, прежде чем настройка была исправлена. ** Факторы вклада: ** Служба поиска KYC - это бэкэнд-часть инфраструктуры Socure, которая предоставляет услуги нескольким нашим внутренним продуктам. Когда эта услуга возобновилась с нуля в то же время, что и все клиенты сервиса, небольшое количество контейнеров в сервисе упало под нагрузкой. Это увеличило нагрузку на оставшиеся стручки, часть из которых разбилась в свою очередь. Этот каскадный сбой помешал сервису вернуться на свой собственный путь, как это произошло с остальной инфраструктурой Socure. Диагностика этого отдельного режима отказа заняла дополнительное время, и исправление оставшихся ошибок после первоначального инцидента. ###**4, Резолюция** Изменение ArgoCD было немедленно отменено, в результате чего сервисы вернулись в прежнее состояние. Служба поиска KYC требовала ручных усилий, чтобы блокировать трафик от его достижения до тех пор, пока не появится большинство контейнеров в службе. После того, как сервис был здоров, мы могли восстановить трафик на него и разрешить общий инцидент. ###**5 Корректирующие и превентивные действия** ###**6.Уроки выучены** Инструментарий Socure для просмотра изменений, которые он вносит в производство, работал неправильно. Мы пересматриваем эти инструменты, чтобы убедиться, что они работают правильно во всех случаях использования и исправляют любые подобные случаи, когда полный объем изменений не ясен. * Увеличить существующий процесс пересмотра изменений с помощью агентской поддержки. Хотя в этом случае конкретные изменения не были видны в плане, наличие дополнительного рецензента, который поддерживается обширной моделью обучения, поможет обеспечить улавливание проблем до представления. Даже изменения, которые, по-видимому, не оказывают никакого влияния, когда они вносятся в систему управления для наших производственных рабочих мест, могут быть рискованными и должны быть перенесены дальше из рабочего времени в США. Наш сервис поиска KYC уязвим к проблеме «стада грома», когда он получает полный поток трафика, когда он не полностью онлайн. Мы должны усилить наши выключатели, чтобы предотвратить повторение этой проблемы. Мы запускаем слишком много наших основных API-сервисов в одном кластере кубернетов. Несмотря на то, что этот кластер распределен по нескольким зонам доступности, общая плоскость управления создает слишком высокий радиус взрыва для изменений в этом кластере. ###**7.Следующие шаги и постоянная приверженность** Socure понимает, что наши клиенты полагаются на нас как на ключевого поставщика в критических бизнес-потоках, и что это прерывание обслуживания неприемлемо. Мы приносим извинения за последствия, вызванные этим вопросом, и обязуемся не допустить его повторения. С этой целью мы предоставим подробную информацию о наших планах по реархитектуре макета наших приложений к ноябрю, а также повысим устойчивость службы поиска KYC в 1 квартале следующего года.
Автоматический перевод официального обновления инцидента.
Восстановлены службы Socure RiskOS и ID+. Ошибка в развертывании вызвала временный всплеск количества ошибок в наших сервисах между 18:12 и 18:56 по восточному времени. Ошибка исправлена, услуги стабильны. Мы понимаем, что это отключение недопустимо, и полный RCA будет доступен, как только будет завершен полный анализ проблемы.
Автоматический перевод официального обновления инцидента.
В настоящее время мы сталкиваемся с активным инцидентом, который влияет на доступность услуг. В настоящее время мы изучаем проблему и предоставим обновления, как только у нас будет дополнительная информация.
Восстановлены службы Socure RiskOS и ID+. Ошибка в развертывании вызвала временный всплеск количества ошибок в наших сервисах между 18:20 и 18:56 по восточному времени. Ошибка исправлена, услуги стабильны. Мы понимаем, что это отключение недопустимо, и полный RCA будет доступен, как только будет завершен полный анализ проблемы.
Восстановлены службы Socure RiskOS и ID+. Ошибка в развертывании вызвала временный всплеск количества ошибок в наших сервисах между 18:12 и 18:56 по восточному времени. Ошибка исправлена, услуги стабильны. Мы понимаем, что это отключение недопустимо, и полный RCA будет доступен, как только будет завершен полный анализ проблемы.
Восстановлены службы Socure RiskOS и ID+. Ошибка в развертывании вызвала временный всплеск количества ошибок в наших сервисах между 18:12 и 18:56 по восточному времени. Ошибка исправлена, услуги стабильны. Мы понимаем, что это отключение недопустимо, и полный RCA будет доступен, как только будет завершен полный анализ проблемы.
##**Анализ первопричины** ** Инцидент:** Отключение Socure API ** Дата: ** 15 октября-2026 ** Воздействие:** Прерывание службы для Socure API **Статус:** решенный ###**1 Резюме** 15 октября 2012 года между 18:12 и 19:00 по восточному времени Socure прервал работу своих API-интерфейсов RiskOS и ID+, что привело к ошибкам и тайм-аутам для пользователей. Первая фаза проходила с 18:12 до 18:20 и была серьезным перерывом практически для каждой службы. Второй этап сбоя проходил с 18:20 до 19:00 и был частичным сбоем для служб, которые полагаются на данные KYC, где клиенты видели повышенные показатели ошибок и задержки для некоторых услуг, но трафик все еще обслуживался. ###**2, временная шкала** ** Дата / Время \(ET\)** **18:12** | Обычная очистка сливается, перемещая исходный репо из одного хранилища кода в другое. Ошибка в нашем инструменте обзора скрывает масштаб изменений. **18:13** | ArgoCD перезапускает большинство сервисов в крупном кластере Kubernetes одновременно. **18:20** Все служебные капсулы работают. Сервис частичного API восстановлен, хотя в сервисах KYC по-прежнему наблюдается повышенный уровень ошибок. **18:21** | Наводнение трафика стартапов переполняет наш сервис поиска KYC. Скачок числа ошибок. **18:42** | SRE диагностирует каскадный сбой, влияющий на поиск KYC, и блокирует трафик, чтобы он мог появиться. **18:56** | Служба поиска KYC полностью готова, и SRE возвращает ей трафик. Нисходящие службы стабилизируются. **19:00** | Весь трафик работает как обычно, инцидент объявлен стабильным. ###**3. Коренная причина** ** Основная причина:** В рамках продолжающейся миграции SRE по вызову внесла изменения в ArgoCD, систему, которую мы используем для управления кластерами кубернетов, на которой работает Socure. Изменение было отнесено к одному кластеру, было тщательно рассмотрено перед продвижением, не вызвало проблем в других средах, в которых оно было протестировано, и не должно было иметь видимого воздействия. К сожалению, изменение обновило устаревшую настройку, которая не появилась в обзоре изменений. Эти устаревшие настройки управляли тем, какими услугами управлял ArgoCD, и удаляли многие живые услуги из ArgoCD. В результате ArgoCD ненадолго убрал эти услуги с производства, прежде чем настройка была исправлена. ** Факторы вклада: ** Служба поиска KYC - это бэкэнд-часть инфраструктуры Socure, которая предоставляет услуги нескольким нашим внутренним продуктам. Когда эта услуга возобновилась с нуля в то же время, что и все клиенты сервиса, небольшое количество контейнеров в сервисе упало под нагрузкой. Это увеличило нагрузку на оставшиеся стручки, часть из которых разбилась в свою очередь. Этот каскадный сбой помешал сервису вернуться на свой собственный путь, как это произошло с остальной инфраструктурой Socure. Диагностика этого отдельного режима отказа заняла дополнительное время, и исправление оставшихся ошибок после первоначального инцидента. ###**4, Резолюция** Изменение ArgoCD было немедленно отменено, в результате чего сервисы вернулись в прежнее состояние. Служба поиска KYC требовала ручных усилий, чтобы блокировать трафик от его достижения до тех пор, пока не появится большинство контейнеров в службе. После того, как сервис был здоров, мы могли восстановить трафик на него и разрешить общий инцидент. ###**5 Корректирующие и превентивные действия** ###**6.Уроки выучены** Инструментарий Socure для просмотра изменений, которые он вносит в производство, работал неправильно. Мы пересматриваем эти инструменты, чтобы убедиться, что они работают правильно во всех случаях использования и исправляют любые подобные случаи, когда полный объем изменений не ясен. * Увеличить существующий процесс пересмотра изменений с помощью агентской поддержки. Хотя в этом случае конкретные изменения не были видны в плане, наличие дополнительного рецензента, который поддерживается обширной моделью обучения, поможет обеспечить улавливание проблем до представления. Даже изменения, которые, по-видимому, не оказывают никакого влияния, когда они вносятся в систему управления для наших производственных рабочих мест, могут быть рискованными и должны быть перенесены дальше из рабочего времени в США. Наш сервис поиска KYC уязвим к проблеме «стада грома», когда он получает полный поток трафика, когда он не полностью онлайн. Мы должны усилить наши выключатели, чтобы предотвратить повторение этой проблемы. Мы запускаем слишком много наших основных API-сервисов в одном кластере кубернетов. Несмотря на то, что этот кластер распределен по нескольким зонам доступности, общая плоскость управления создает слишком высокий радиус взрыва для изменений в этом кластере. ###**7.Следующие шаги и постоянная приверженность** Socure понимает, что наши клиенты полагаются на нас как на ключевого поставщика в критических бизнес-потоках, и что это прерывание обслуживания неприемлемо. Мы приносим извинения за последствия, вызванные этим вопросом, и обязуемся не допустить его повторения. С этой целью мы предоставим подробную информацию о наших планах по реархитектуре макета наших приложений к ноябрю, а также повысим устойчивость службы поиска KYC в 1 квартале следующего года.
Автоматический перевод официального обновления инцидента.
В настоящее время мы испытываем незапланированное отключение, влияющее на модуль eCBSV из-за ответов SSA, что приводит к ошибкам 5xx. Socure связалась с поставщиком, чтобы изучить проблему и определить, когда ожидается восстановление сервиса.
Ставки ошибок снизились за последние несколько минут. Мы отслеживаем эти показатели и ожидаем ответа от наших поставщиков.
SSA пережила событие, которое повлияло на несколько приложений и сервисов, включая службу проверки номера социального страхования на основе электронного согласия (eCBSV). Разрушение началось примерно в 10:19 утра (ET) 15 октября 2026 года и было решено примерно в 10:41 утра (ET). Сервис был восстановлен, и в настоящее время eCBSV работает в штатном режиме.
Автоматический перевод официального обновления инцидента.
Мы испытали повышенные сбои транзакций, влияющие на Watchlist Plus и Watchlist Premier. Проблема решена, и мы отслеживаем производительность, чтобы обеспечить стабильность услуг. Мы приносим извинения за любые неудобства, которые это могло вызвать.
Автоматический перевод официального обновления инцидента.
Мы расследуем проблему, вызывающую задержки в обновлении случаев, отраженных в интерфейсе управления делами RiskOS. Наша инженерная команда активно работает над выявлением первопричины и восстановлением нормального поведения обновления. Мы предоставим дополнительные обновления по мере поступления дополнительной информации. Это не влияет на запросы на оценку API.
Мы определили первопричину проблемы, затрагивающей обновления в интерфейсе управления делами RiskOS. Эта проблема ограничена подмножеством случаев и конкретно влияет на функциональность Case Search, которая может временно показывать устаревшие состояния дел. Обратите внимание, что данные о состоянии дел, отображаемые в списке дел и отдельных страницах «Детали дела», являются точными и отражают последнее состояние. Наша инженерная команда развернула исправление для всех недавно обновленных случаев и активно работает над повторной синхронизацией оставшихся пострадавших случаев для обеспечения согласованности данных в поиске. Мы предоставим еще одно обновление, как только нормальное поведение будет полностью восстановлено.
Проблема, затрагивающая обновления статуса дел, решена. Все новые дела обрабатываются правильно. Мы искренне извиняемся за любые неудобства, которые это могло вызвать, и ценим ваше терпение, пока наша команда работала над решением этой проблемы.
Автоматический перевод официального обновления инцидента.
Между 6:28 и 6:57 по восточному времени 21 сентября, проблема во время оперативной деятельности вызвала некоторые уведомления веб-хук, связанные с более старыми оценками за последний месяц. Текущие оценки и обработка веб-хук не были затронуты. Вопрос решен. Мы приносим извинения за любую путаницу или дополнительный шум, который это могло вызвать.
Автоматический перевод официального обновления инцидента.
Мы расследуем задержки, влияющие на обработку партии на приборной панели. Клиенты могут испытывать задержку обработки, пока мы рассматриваем проблему.
Этот инцидент был урегулирован.
Автоматический перевод официального обновления инцидента.
Мы наблюдаем увеличение задержки, затрагивающей некоторых клиентов, использующих наши продукты. Наша команда активно изучает этот вопрос. Запросы API успешно выполняются, и в настоящее время мы не наблюдаем сбоев API. Мы предоставим дополнительные обновления по мере поступления дополнительной информации.
Мы видим улучшение задержки, затрагивающее некоторых клиентов, использующих наши продукты Fraud и Synthetic. Мы продолжим внимательно следить за ситуацией.
Проблема мошенничества и синтетических услуг была решена, и сервис вернулся к нормальной работе. Клиенты больше не должны испытывать повышенную задержку или задержки при доступе к услугам Fraud and Synthetic
Автоматический перевод официального обновления инцидента.
Между 8:30 утра и 2:00 вечера по восточному времени мы наблюдали увеличение частоты ошибок 5xx, что приводило к периодическим ошибкам или неудачным запросам для некоторых клиентов. Общее воздействие было минимальным, менее 0,01%. С тех пор уровень ошибок вернулся к норме. На данный момент этот вопрос полностью решен. Мы приносим извинения за любые нарушения и ценим ваше терпение.
Автоматический перевод официального обновления инцидента.
Между 7:00 и 7:20 утра по восточному времени мы наблюдали увеличение частоты ошибок 5xx, что могло привести к периодическим ошибкам или неудавшимся запросам для некоторых клиентов. С тех пор уровень ошибок вернулся к норме, и мы изучаем первопричину, чтобы полностью решить проблему. Мы приносим извинения за любые нарушения и ценим ваше терпение.
** Анализ первопричин** ** Инцидент:** Прерывистые ошибки 5xx в разных сервисах ** Диапазон дат: ** 9 сентября 2026 года, 7:00 утра - 9:20 утра EDT \(приблизительно 2 часа 20 минут прерывистого воздействия\) ** Воздействие:** Некоторые запросы, отправленные в API EmailAuthScore и связанные с ним службы, периодически возвращали ответы на ошибки. Воздействие было прерывистым, а не непрерывным, и ограничивалось определенными окнами, описанными в приведенной ниже временной шкале. **Статус:** решенный ###**1 Резюме** 9 сентября 2026 года запланированное увеличение пропускной способности бэкэнда привело к повышенной нагрузке соединения на компонент внутренней инфраструктуры, используемый для поддержки последующей обработки для нескольких служб. Этот компонент достиг порога внутренней емкости, что привело к задержкам обработки и периодическим ответам на ошибки в API EmailAuthScore и связанных с ним службах для подмножества запросов. Эта проблема была выявлена на основе сочетания внутреннего мониторинга и докладов в период действия механизма воздействия. Поисковая инженерия соотнесла ошибки с недавним изменением мощности и вернула его, что остановило первоначальное увеличение ошибок. Второе, связанное с этим увеличение ошибок произошло тогда, когда отдельное изменение мощности, сделанное ранее для другой внутренней службы, поставило дополнительную нагрузку на один и тот же общий компонент; инженерия применила дальнейшие смягчения, после чего все затронутые службы вернулись к нормальной, стабильной работе. В разделе 5 излагаются корректирующие и превентивные действия, которые Socure обязуется предпринять, с приоритетом улучшения видимости пропускной способности инфраструктуры и предотвращения задержек в любом отдельном внутреннем компоненте, влияющих на обработку запросов, обращенных к клиентам. ###**2, временная шкала** **Дата/Время \(EDT\)***Событие** [править править код] 9 сентября 2026 года 07:00 AM** После запланированного увеличения пропускной способности бэкэнд-обработки API EmailAuthScore начал периодически возвращать ответы на ошибки. ! 9 сентября 2026 07:20 AM** Недавнее изменение емкости было возвращено; показатели ошибок вернулись к норме. 9 сентября 2026 08:45 AM ** Отдельное изменение емкости, сделанное ранее для другой внутренней службы, разместило дополнительную нагрузку на один и тот же общий внутренний компонент, и API EmailAuthScore снова начал периодически возвращать ответы на ошибки. ! 9 сентября 2026 г. 09:20 AM** | Применены дополнительные смягчения; показатели ошибок вернулись к норме и остались стабильными. | ** 9 сентября 2026 01:13 PM** В качестве меры предосторожности Socure временно перенаправила часть внутренней обработки от пораженного внутреннего компонента, чтобы безопасно завершить оставшееся увеличение емкости. После этого изменения никаких ошибок не наблюдалось. ###**3. Коренная причина** ** Основная причина:** В рамках запланированной работы по увеличению пропускной способности системы перед ожидаемым спросом Socure увеличила пропускную способность серверных служб. Это изменение увеличило количество подключений к внутреннему компоненту обмена сообщениями, используемому для поддержки последующей обработки данных. Этот компонент достиг предела пропускной способности внутреннего соединения, что привело к задержкам соединения и обработки. Эти задержки привели к дополнительной задержке и, в некоторых случаях, обратному давлению при обработке запросов, что способствовало прерывистому повышению частоты ошибок на API EmailAuthScore и связанных с ним услуг для подмножества запросов во время окон воздействия, описанных выше. ** Факторы вклада: ** Внезапное увеличение спроса на инфраструктурные мощности превысило возможности, которые были сразу же недоступны внутри компонента обмена сообщениями. ###**4, Резолюция** После выявления того, что повышенные показатели ошибок были связаны с недавним изменением емкости, Socure Engineering вернул изменение, которое остановило первоначальное увеличение ошибок. Второе, связанное с этим увеличение ошибок произошло тогда, когда отдельное изменение емкости, сделанное ранее для другой внутренней службы, поместило дополнительную нагрузку на один и тот же общий компонент. Инженеры применили дополнительные меры по смягчению последствий, в том числе временно перенаправили часть внутренней обработки в сторону от затронутого компонента для затронутых услуг. После этих действий все пострадавшие службы вернулись к нормальной, стабильной работе, что Socure подтвердила благодаря продолжению мониторинга. ###**5 Корректирующие и превентивные действия** | ** Действие** **Описание** | **ETA/Статус** [править править код] Оптимизация использования пропускной способности инфраструктуры Скорректированная пропускная способность бэкэнд-сервиса и использование подключения для обеспечения обработки остается в пределах поддерживаемой инфраструктуры и снижения риска аналогичных проблем, связанных с пропускной способностью. Сделано. Увеличить пропускную способность инфраструктуры обмена сообщениями | Увеличить пропускную способность базовой инфраструктуры обмена сообщениями, чтобы обеспечить дополнительные возможности и поддержку будущего увеличения объема трафика. Сделано. Улучшить мониторинг мощности и оповещение Добавить проактивный мониторинг и оповещения для выявления потенциальных ограничений пропускной способности инфраструктуры, прежде чем они повлияют на производительность обслуживания. ! В процессе. ETA 30 Sep 2026. ###**6.Уроки выучены** • Необходимо осуществлять активный мониторинг состояния инфраструктуры в преддверии изменений в потенциале, а не только мониторинг на уровне приложений. ###**7.Следующие шаги и постоянная приверженность** Мы привержены: Завершение корректирующих и профилактических действий, перечисленных в Разделе 5. • Повышение осведомленности о состоянии здоровья и потенциале критически важной внутренней инфраструктуры в преддверии будущей деятельности по масштабированию. * Последующее обновление после завершения всех корректирующих действий.
Автоматический перевод официального обновления инцидента.
В настоящее время мы расследуем проблему, которая оказала влияние на службы мониторинга DocV и Watchlist, где ошибки наблюдались сегодня, 8 сентября, с 09:05 утра по восточному времени до 09:30 утра по восточному времени. Система восстановилась, мы сейчас работаем над определением первопричины.
Проблема, затрагивающая службы мониторинга DocV и Watchlist, была решена 8 сентября. С 10:35 AM EST не наблюдалось никакого воздействия на клиентов. Мы приносим извинения за любые нарушения, которые это могло вызвать.
####**Анализ первопричины** **Инцидент:** Прекращение обслуживания, затрагивающее доступ к данным учетной записи ** Дата: ** 8 сентября 2026 \(10:04 AM до 10:31 AM EDT\) **Влияние: ** Мониторы DocV и Watchlist **Статус:** решенный ###1 Резюме Неожиданное истощение резервных баз данных временно помешало нашей платформе получить информацию об учетной записи для подмножества запросов клиентов. Во время окна инцидента \(10:04 AM до 10:31 AM EDT от 8 сентября-2026\), некоторые из запросов клиента испытали повышенные показатели ошибок при попытке запросить данные учетной записи. После регулярного обновления обслуживания одновременные соединения из резервных сред превысили нормальные пороговые значения, насытив доступную емкость базы данных. Инженерные команды безопасно отключили избыточные среды и обновили активные соединения, восстановив полную отзывчивость и стабильность системы. ###2 - хронология ** Дата/Время \(ET\)** Событие** [править править код] | Первая ошибка | 10:04 AM EST, 8 сентября 2026 | | Инцидент сообщает | 10:17 AM EST, 8 Sep 2026 | | Избыточный бассейн подключения к окружающей среде изолированный | 10:30 AM EST, 8 сентября 2026 | | Инцидент разрешен | 10:31 AM EST, 8 Sep 2026 | ###3 Коренная причина ** Основная причина:** Во время запланированного обновления системы повышенное удержание соединения между средами развертывания привело к насыщению пула соединений базы данных. При пиковом трафике это приводило к задержкам обработки и запросу тайм-аутов для зависимых сервисов платформы. ** Факторы вклада: ** Жесткие параметры тайм-аута соединения задержали своевременное высвобождение неработающих выделений базы данных пассивной средой. * Неадекватное расположение узла базы данных препятствует бесперебойной обработке дополнительных соединений, генерируемых резервной средой. ** Факторы, не вносящие вклад:** *Никаких ###4 Резолюция Полная целостность обслуживания была восстановлена посредством следующих немедленных действий: 1. Изолирование неактивных соединений среды для немедленной бесплатной емкости пула баз данных. 2. Выполнение перезагрузки активных узлов обслуживания для восстановления четких базовых линий подключения к базе данных. ###5 Корректирующие и превентивные действия | ** Действие** **Описание** | **ETA/Статус** [править править код] Улучшение структуры доступа к данным Улучшение стратегии кэширования и структуры доступа к данным во внутренних службах, которые полагаются на данные учетных записей. 15 октября 2026 г. Автоматизированное управление подключением Улучшить управление жизненным циклом соединения и автоматизированные процедуры очистки для неактивных фоновых задач. 15 октября 2026 г. ###6 Уроки, которые выучили ** Улучшение изоляции развертывания:** Мы обновляем наши процедуры развертывания, чтобы обеспечить полное разделение ресурсов между активными и пассивными средами, устраняя противоречие между ресурсами окружающей среды во время обновлений. ** Оптимизация распределения ресурсов базы данных:** Чтобы обеспечить максимальную производительность, мы ребалансируем нашу рабочую нагрузку и увеличиваем общую пропускную способность и эффективность системы. ###7.Следующие шаги и постоянная приверженность Мы привержены: * Устранение выявленных коренных причин по общим временным линиям • Внедрить упреждающие меры безопасности и контрольные пороги, в то время как постоянное применение и улучшение инфраструктуры завершены.
Автоматический перевод официального обновления инцидента.
Наш поставщик, SSA, сообщил, что в настоящее время существует проблема повышенной задержки, затрагивающая модуль eCBSV. В результате вы можете испытывать повышенное время отклика. Наша команда активно работает с ними, чтобы решить вопрос как можно быстрее. Мы приносим извинения за любые неудобства, которые это может вызвать, и ценим ваше терпение и понимание.
SSA разрешила повышенную задержку, влияющую на модуль eCBSV, с 2:00 утра по восточному времени. Время отклика вернулось к норме. Спасибо за ваше терпение и понимание.
Автоматический перевод официального обновления инцидента.
We are investigating a slight degradation on the Watchlist product due to latency. Affecting both ID+ and RiskOS. The team is actively investigating this issue at this time.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
Between 1:21 AM and 2:15 AM EDT on August 4, 2026, a subset of DocV webhook delivery notifications experienced elevated 401 response rates. The issue is fully resolved and webhook delivery is now operating normally. A full Root Cause Analysis (RCA) will be shared once the investigation concludes.
