73 Socure incidents · wrzesień 2025 — official updates, affected components, duration and resolution details.
W dniu 27 października 2026 r. niektórzy klienci nie byli w stanie otrzymać haczyków Riskos Sandbox. Problem został spowodowany wadliwą konfiguracją haka, która spowodowała, że nadawca powiadomień Sandbox przestał przetwarzać zdarzenia. Od tego czasu poprawiono nieprawidłowe konfiguracje. Cała obróbka została odzyskana, a dostawa haka została wznowiona
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
SSA doświadcza obecnie zdarzenia wpływającego na usługi wpływające na wiele aplikacji i usług, w tym na usługę weryfikacji numeru elektronicznego zabezpieczenia społecznego opartego na zgodzie (eCBSV). Niewielka liczba transakcji została naruszona, ponieważ pierwsze zakłócenia odnotowano 23 października 2026 r. o godz. 16.47 (ET). Będziemy dzielić się kolejną aktualizacją po otrzymaniu powiadomienia, że usługa została przywrócona, a eCBSV działa normalnie ponownie.
Około 4: 56 (ET), usługa została przywrócona i eCBSV działa normalnie w tym czasie. Przepraszamy za wszelkie niedogodności.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obecnie badamy problem, który powoduje przerywane opóźnienia z wyświetlania i pobierania DocV Obrazy dla małego odsetka zakończonych transakcji. Nie ma wpływu na DocV ani oceny w tym czasie, ale obrazy mogą zająć dodatkowy czas, aby się pojawić.
Nasz zespół podjął kroki mające na celu złagodzenie opóźnień w wyświetlaniu i pobieraniu obrazów DocV. W chwili obecnej oceny DocV nie mają żadnego wpływu, a zespół będzie nadal monitorować sytuację. Dostarczymy kolejną aktualizację po rozwiązaniu wszystkich skutków.
Kwestia ta została rozwiązana, a my monitorujemy wyniki, aby zapewnić stabilność usług. Przepraszamy za wszelkie niedogodności.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
SSA doświadczyła zdarzenia wpływającego na usługi, które miało wpływ na wiele aplikacji i usług, w tym na usługę weryfikacji numeru elektronicznego zabezpieczenia społecznego opartego na zgodzie (eCBSV). Niewielka liczba transakcji została naruszona, ponieważ zakłócenia rozpoczęły się 18 października 2026 r. o godz. 14.50 (ET) i zostały rozwiązane o godz. 15.10 (ET). Usługa została przywrócona, a eCBSV działa normalnie w tym czasie.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Począwszy od 3: 00 EDT, niektórzy klienci mogą doświadczać błędów przerywanych lub nieudanych żądań podczas korzystania z API oceniających Riskos. Zidentyfikowaliśmy problem bazy danych i aktywnie pracujemy nad jego rozwiązaniem. Przepraszamy za zakłócenia i doceniamy twoją cierpliwość podczas śledztwa.
Podjęliśmy środek tymczasowy, a podwyższony poziom błędu ustąpił. Nie zaobserwowaliśmy powiązanych błędów w ciągu ostatnich 15 minut. Przenosimy ten incydent na monitoring, a my kontynuujemy prace nad pełną rezolucją. Podzielimy się kolejną aktualizacją, kiedy sytuacja się zmieni.
Doceniamy waszą cierpliwość, ponieważ nasz zespół nadal uważnie monitoruje sytuację. Wskaźnik błędów uległ zmniejszeniu, ponieważ nadal pracujemy nad pełną rezolucją.
Incydent został rozwiązany i nie widzimy już błędów. Usługi działają normalnie i będziemy monitorować wydajność. Doceniamy twoją cierpliwość, kiedy to przerabialiśmy.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Socure Riskos i usługi ID + zostały przywrócone. Błąd w uruchomieniu spowodował tymczasowy wzrost poziomu błędów w naszych usługach między 18: 12 a 18: 56 czasu wschodniego. Błąd został poprawiony i usługi są stabilne. Rozumiemy, że ten brak jest nie do przyjęcia i że pełne RCA będzie dostępne zaraz po zakończeniu pełnej analizy tej kwestii.
* * * Root Cause Analysis * * * * Incydent: Socure API Outage * * Zakres dat: * * 15 - Oct- 2026 * * Impact: * * Przerwanie w funkcjonowaniu API Socure / Stan: Rozwiązane Podsumowanie Na 15- Oct- 2026, między 18: 12 a 19: 00 czasu wschodniego Socure doświadczył przerwy do Riskos i ID\ + API, powodując błędy i timeout dla użytkowników. Pierwsza faza trwała od 18: 12 do 18: 20 i była poważną przeszkodą dla praktycznie każdej służby. Drugi etap przerw trwał od 18: 20 do 19: 00 i był częściowym przerwaniem dla usług opartych na danych KYC, gdzie klienci widzieli podwyższony poziom błędów i opóźnień w niektórych usługach, ale ruch był nadal obsługiwany. # 2. * * Data / godzina\ (ET\) * * 124; Wydarzenie * * 18: 12 * * Xi124; Rutynowa zmiana sprzątania jest połączona, przenoszenie źródła repo z jednego repozytorium kodu do innego. Błąd w naszym narzędziu przeglądowym ukrywa zakres zmiany. * * 18: 13 * * * ArgoCD restartuje większość usług w głównym klastrze Kubernetes naraz. * * 18: 20 * * Reg 124; Wszystkie kapsuły serwisowe działają. Częściowa usługa API przywrócona, chociaż usługi KYC nadal widzą podwyższony poziom błędu. * * 18: 21 * * Xi124; Powódź ruchu startowego przeważa nasze usługi KYC Search. Poziom błędu wzrasta. * * 18: 42 * * Xi124; SRE diagnozuje awarię kaskadową wpływającą na wyszukiwanie KYC i blokuje ruch do niego, aby mógł się pojawić. * * 18: 56 * * Xi124; Usługa wyszukiwania KYC jest w pełni włączona, a SRE zwraca ruch do niego. Obsługa w dół stabilizuje się. * * 19: 00 * * 12: 4; Wszystkie korki uruchomione jako normalne, incydent uznany za stabilny. * * * * * * * * * * * * Pierwotna przyczyna korzenia: * * W ramach trwającej migracji, on-call SRE dokonał zmiany ArgoCD, system, którego używamy do zarządzania kubernetes klastry Socure prowadzi swoje usługi na. Zmiana została przebadana na jeden klaster, została dokładnie przeanalizowana przed pchnięciem, nie wywołała problemów w innych środowiskach, w których była testowana i nie powinna mieć widocznego wpływu. Niestety, zmiana zaktualizowała ustawienia spuścizny, które nie pojawiły się w przeglądzie zmian. Ta spuścizna regulowała to, czym zarządzały usługi ArgoCD i usunęła wiele usług na żywo z ArgoCD. W związku z tym ArgoCD usunął te usługi z produkcji krótko, zanim dokonano korekty. * * * Składające się czynniki: * * Usługa Wyszukiwarka KYC jest częścią pomocniczą infrastruktury Socure, która świadczy usługi dla kilku naszych produktów wewnętrznych. Po ponownym uruchomieniu usługi od zera w tym samym czasie co wszyscy klienci usługi, niewielka liczba kapsuł w służbie rozbił się pod obciążeniem. Zwiększało to obciążenie pozostałych kapsuł, z których część rozbiła się z kolei. Ta awaria kaskadowa uniemożliwiła świadczenie usługi na własną rękę, tak jak reszta infrastruktury Socure. Diagnozowanie tego oddzielnego trybu awarii zajęło dodatkowy czas, a rekultywacja go naprawić pozostałe błędy po pierwszym incydencie. 4. Zmiana ArgoCD została natychmiast cofnięta, powodując powrót usług do poprzedniego stanu. Usługa KYC Search wymagała ręcznego wysiłku, aby zablokować ruch przed dotarciem do niego do większości kapsuł w serwisie. Po tym jak usługa była zdrowa, mogliśmy przywrócić do niej ruch i rozwiązać cały incydent. 5. Działania naprawcze i zapobiegawcze - 6 lekcji. * Socure 's tooling do oglądania zmian w produkcji nie działa prawidłowo. Przeglądamy te narzędzia, aby zapewnić ich prawidłowe działanie we wszystkich przypadkach użycia i naprawiamy takie przypadki, w których pełen zakres zmiany nie jest jasny. * Wzmocnienie istniejącego procesu przeglądu zmian przy pomocy wsparcia urzędowego. Podczas gdy w tym przypadku szczególna zmiana nie była widoczna w planie, posiadanie dodatkowego kontrolera wspieranego przez obszerny model szkolenia pomoże zapewnić, że problemy zostaną wykryte przed złożeniem. * Nawet zmiany, które wydają się nie mieć wpływu, gdy są wprowadzane do systemu zarządzania dla naszych miejsc pracy produkcyjnych, mogą być ryzykowne, i powinny być przesunięte dalej z amerykańskich godzin pracy. * Nasza usługa KYC Search jest podatna na problem "Thundering- stado", gdy otrzymuje pełny przepływ ruchu, gdy nie jest w pełni online. Musimy wzmocnić nasze wyłączniki, aby zapobiec powtarzaniu się tej kwestii. * Prowadzimy zbyt wiele naszych podstawowych usług API w jednym klastrze kubernetes. Mimo że klaster ten jest rozprowadzany w wielu strefach dostępności, wspólna płaszczyzna kontrolna tworzy zbyt wysoki promień wybuchu dla zmian w klastrze. * * * 7. Socure rozumie, że nasi klienci polegają na nas jako kluczowy dostawca krytycznych przepływów biznesowych, i że przerwa w świadczeniu usług jest nie do przyjęcia. Przepraszamy za skutki tej sprawy i zobowiązujemy się do zapewnienia, że nie powtórzy się ona ponownie. W tym celu dostarczymy szczegółowe informacje na temat naszych planów przebudowy naszego układu aplikacji do listopada, a także poprawy odporności usługi wyszukiwania KYC w 1 kwartale przyszłego roku.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Socure Riskos i usługi ID + zostały przywrócone. Błąd w uruchomieniu spowodował tymczasowy wzrost poziomu błędów w naszych usługach między 18: 12 a 18: 56 czasu wschodniego. Błąd został poprawiony i usługi są stabilne. Rozumiemy, że ten brak jest nie do przyjęcia i że pełne RCA będzie dostępne zaraz po zakończeniu pełnej analizy tej kwestii.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obecnie doświadczamy aktywnego incydentu, który wpływa na dostępność usług. Obecnie badamy tę kwestię i dostarczymy jej aktualizacje, gdy tylko będziemy mieli dodatkowe informacje.
Socure Riskos i usługi ID + zostały przywrócone. Błąd w uruchomieniu spowodował tymczasowy wzrost poziomu błędu w naszych usługach między 18: 20 a 18: 56 czasu wschodniego. Błąd został poprawiony i usługi są stabilne. Rozumiemy, że ten brak jest nie do przyjęcia i że pełne RCA będzie dostępne zaraz po zakończeniu pełnej analizy tej kwestii.
Socure Riskos i usługi ID + zostały przywrócone. Błąd w uruchomieniu spowodował tymczasowy wzrost poziomu błędów w naszych usługach między 18: 12 a 18: 56 czasu wschodniego. Błąd został poprawiony i usługi są stabilne. Rozumiemy, że ten brak jest nie do przyjęcia i że pełne RCA będzie dostępne zaraz po zakończeniu pełnej analizy tej kwestii.
Socure Riskos i usługi ID + zostały przywrócone. Błąd w uruchomieniu spowodował tymczasowy wzrost poziomu błędów w naszych usługach między 18: 12 a 18: 56 czasu wschodniego. Błąd został poprawiony i usługi są stabilne. Rozumiemy, że ten brak jest nie do przyjęcia i że pełne RCA będzie dostępne zaraz po zakończeniu pełnej analizy tej kwestii.
* * * Root Cause Analysis * * * * Incydent: Socure API Outage * * Zakres dat: * * 15 - Oct- 2026 * * Impact: * * Przerwanie w funkcjonowaniu API Socure / Stan: Rozwiązane Podsumowanie Na 15- Oct- 2026, między 18: 12 a 19: 00 czasu wschodniego Socure doświadczył przerwy do Riskos i ID\ + API, powodując błędy i timeout dla użytkowników. Pierwsza faza trwała od 18: 12 do 18: 20 i była poważną przeszkodą dla praktycznie każdej służby. Drugi etap przerw trwał od 18: 20 do 19: 00 i był częściowym przerwaniem dla usług opartych na danych KYC, gdzie klienci widzieli podwyższony poziom błędów i opóźnień w niektórych usługach, ale ruch był nadal obsługiwany. # 2. * * Data / godzina\ (ET\) * * 124; Wydarzenie * * 18: 12 * * Xi124; Rutynowa zmiana sprzątania jest połączona, przenoszenie źródła repo z jednego repozytorium kodu do innego. Błąd w naszym narzędziu przeglądowym ukrywa zakres zmiany. * * 18: 13 * * * ArgoCD restartuje większość usług w głównym klastrze Kubernetes naraz. * * 18: 20 * * Reg 124; Wszystkie kapsuły serwisowe działają. Częściowa usługa API przywrócona, chociaż usługi KYC nadal widzą podwyższony poziom błędu. * * 18: 21 * * Xi124; Powódź ruchu startowego przeważa nasze usługi KYC Search. Poziom błędu wzrasta. * * 18: 42 * * Xi124; SRE diagnozuje awarię kaskadową wpływającą na wyszukiwanie KYC i blokuje ruch do niego, aby mógł się pojawić. * * 18: 56 * * Xi124; Usługa wyszukiwania KYC jest w pełni włączona, a SRE zwraca ruch do niego. Obsługa w dół stabilizuje się. * * 19: 00 * * 12: 4; Wszystkie korki uruchomione jako normalne, incydent uznany za stabilny. * * * * * * * * * * * * Pierwotna przyczyna korzenia: * * W ramach trwającej migracji, on-call SRE dokonał zmiany ArgoCD, system, którego używamy do zarządzania kubernetes klastry Socure prowadzi swoje usługi na. Zmiana została przebadana na jeden klaster, została dokładnie przeanalizowana przed pchnięciem, nie wywołała problemów w innych środowiskach, w których była testowana i nie powinna mieć widocznego wpływu. Niestety, zmiana zaktualizowała ustawienia spuścizny, które nie pojawiły się w przeglądzie zmian. Ta spuścizna regulowała to, czym zarządzały usługi ArgoCD i usunęła wiele usług na żywo z ArgoCD. W związku z tym ArgoCD usunął te usługi z produkcji krótko, zanim dokonano korekty. * * * Składające się czynniki: * * Usługa Wyszukiwarka KYC jest częścią pomocniczą infrastruktury Socure, która świadczy usługi dla kilku naszych produktów wewnętrznych. Po ponownym uruchomieniu usługi od zera w tym samym czasie co wszyscy klienci usługi, niewielka liczba kapsuł w służbie rozbił się pod obciążeniem. Zwiększało to obciążenie pozostałych kapsuł, z których część rozbiła się z kolei. Ta awaria kaskadowa uniemożliwiła świadczenie usługi na własną rękę, tak jak reszta infrastruktury Socure. Diagnozowanie tego oddzielnego trybu awarii zajęło dodatkowy czas, a rekultywacja go naprawić pozostałe błędy po pierwszym incydencie. 4. Zmiana ArgoCD została natychmiast cofnięta, powodując powrót usług do poprzedniego stanu. Usługa KYC Search wymagała ręcznego wysiłku, aby zablokować ruch przed dotarciem do niego do większości kapsuł w serwisie. Po tym jak usługa była zdrowa, mogliśmy przywrócić do niej ruch i rozwiązać cały incydent. 5. Działania naprawcze i zapobiegawcze - 6 lekcji. * Socure 's tooling do oglądania zmian w produkcji nie działa prawidłowo. Przeglądamy te narzędzia, aby zapewnić ich prawidłowe działanie we wszystkich przypadkach użycia i naprawiamy takie przypadki, w których pełen zakres zmiany nie jest jasny. * Wzmocnienie istniejącego procesu przeglądu zmian przy pomocy wsparcia urzędowego. Podczas gdy w tym przypadku szczególna zmiana nie była widoczna w planie, posiadanie dodatkowego kontrolera wspieranego przez obszerny model szkolenia pomoże zapewnić, że problemy zostaną wykryte przed złożeniem. * Nawet zmiany, które wydają się nie mieć wpływu, gdy są wprowadzane do systemu zarządzania dla naszych miejsc pracy produkcyjnych, mogą być ryzykowne, i powinny być przesunięte dalej z amerykańskich godzin pracy. * Nasza usługa KYC Search jest podatna na problem "Thundering- stado", gdy otrzymuje pełny przepływ ruchu, gdy nie jest w pełni online. Musimy wzmocnić nasze wyłączniki, aby zapobiec powtarzaniu się tej kwestii. * Prowadzimy zbyt wiele naszych podstawowych usług API w jednym klastrze kubernetes. Mimo że klaster ten jest rozprowadzany w wielu strefach dostępności, wspólna płaszczyzna kontrolna tworzy zbyt wysoki promień wybuchu dla zmian w klastrze. * * * 7. Socure rozumie, że nasi klienci polegają na nas jako kluczowy dostawca krytycznych przepływów biznesowych, i że przerwa w świadczeniu usług jest nie do przyjęcia. Przepraszamy za skutki tej sprawy i zobowiązujemy się do zapewnienia, że nie powtórzy się ona ponownie. W tym celu dostarczymy szczegółowe informacje na temat naszych planów przebudowy naszego układu aplikacji do listopada, a także poprawy odporności usługi wyszukiwania KYC w 1 kwartale przyszłego roku.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obecnie doświadczamy nieplanowanego wyłączenia wpływającego na moduł eCBSV z powodu odpowiedzi SSA, co powoduje błędy 5xx. Socure skontaktował się ze sprzedawcą w celu zbadania problemu i ustalenia, kiedy usługa ma zostać przywrócona.
Ceny błędów spadły w ciągu ostatnich kilku minut. Monitorujemy te wskaźniki i oczekujemy odpowiedzi naszego sprzedawcy.
SSA doświadczyła zdarzenia wpływającego na usługi, które miało wpływ na wiele aplikacji i usług, w tym na usługę weryfikacji numeru elektronicznego zabezpieczenia społecznego opartego na zgodzie (eCBSV). Zakłócenie zaczęło się około 10: 19 rano (ET) 15 października 2026 roku i zostało rozwiązane około 10: 41 rano (ET). Usługa została przywrócona, a eCBSV działa normalnie w tym czasie.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Doświadczyliśmy zwiększonych awarii transakcji wpływających na Watchlist Plus i Watchlist Premier. Sprawa została rozwiązana, a my monitorujemy wyniki, aby zapewnić stabilność usług. Przepraszamy za wszelkie niedogodności.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Badamy problem powodujący opóźnienia w przypadku, gdy aktualizacje znajdują odzwierciedlenie w systemie zarządzania sprawami Riskos. Nasz zespół inżynieryjny aktywnie pracuje nad zidentyfikowaniem przyczyny i przywróceniem normalnego zachowania aktualizacji. Dostarczymy dalsze aktualizacje w miarę dostępności większej ilości informacji. Nie wpływa to na wnioski o ocenę API.
Zidentyfikowaliśmy przyczynę problemu wpływającą na aktualizacje w systemie zarządzania sprawami Riskos. Kwestia ta ogranicza się do podzbioru spraw i ma szczególny wpływ na funkcjonalność wyszukiwania spraw, które mogą tymczasowo wykazywać przestarzałe stany przypadków. Należy pamiętać, że dane dotyczące stanu sprawy wyświetlane na liście przypadków i poszczególnych szczegółów przypadków są dokładne i odzwierciedlają najnowszy stan. Nasz zespół inżynieryjny wprowadził rozwiązanie dla wszystkich nowo zaktualizowanych przypadków i aktywnie pracuje nad resynchronizacją pozostałych przypadków, aby zapewnić spójność danych w trakcie wyszukiwania. Dostarczymy kolejną aktualizację, gdy normalne zachowanie zostanie w pełni przywrócone.
Problem dotyczący aktualizacji statusu sprawy został rozwiązany. Wszystkie nowe sprawy są prawidłowo rozpatrywane. Serdecznie przepraszamy za wszelkie niedogodności, które mogły spowodować i doceniamy waszą cierpliwość, podczas gdy nasz zespół pracował nad jej rozwiązaniem.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Między 6: 28 rano a 6: 57 rano ET w dniu 21 września problem w trakcie działalności operacyjnej spowodował ponowne dostarczenie niektórych powiadomień dotyczących haków internetowych związanych ze starszymi ocenami z ostatniego miesiąca. Obecne oceny i przetwarzanie haków nie miały wpływu. Sprawa została rozwiązana. Przepraszamy za wszelkie zamieszanie lub dodatkowe hałasy, które mogło to spowodować.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Badamy opóźnienia w przetwarzaniu partii na desce rozdzielczej. Klienci mogą doświadczyć opóźnionego przetwarzania podczas przeglądu problemu.
Ten incydent został rozwiązany.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obserwujemy zwiększoną latencję dla niektórych klientów wykorzystujących nasze produkty finansowe i syntetyczne. Nasz zespół aktywnie bada sprawę. Wnioski API są wypełniane pomyślnie, a my nie obserwujemy żadnych błędów API w tym czasie. Dostarczymy dalsze aktualizacje w miarę dostępności większej ilości informacji.
Dostrzegamy poprawę w opóźnieniu, wpływającą na niektórych klientów wykorzystujących nasze produkty. Będziemy uważnie monitorować sytuację.
Problem wpływający na oszustwa i usługi syntetyczne został rozwiązany, a usługa wróciła do normalnego funkcjonowania. Klienci nie powinni już doświadczać zwiększonego opóźnienia lub opóźnienia w dostępie do usług w zakresie oszustw i usług syntetycznych
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Między 8: 30 a 2: 00 PM EST zaobserwowaliśmy wzrost wskaźnika błędów 5xx, co doprowadziło do błędów przerywanych lub nieudanych wniosków dla niektórych klientów. Całkowity wpływ był minimalny, poniżej 0,01%. Poziom błędu powrócił do normy. Kwestia ta jest obecnie w pełni rozwiązana. Przepraszamy za wszelkie zakłócenia i doceniamy waszą cierpliwość.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Między 7: 00 a 7: 20 AM EST, zaobserwowaliśmy wzrost wskaźnika błędu 5xx, który mógł doprowadzić do błędów przerywanych lub niepowodzenia dla niektórych klientów. Od tego czasu poziom błędów powrócił do normy, a my badamy główną przyczynę, aby upewnić się, że w pełni rozwiązaliśmy problem. Przepraszamy za wszelkie zakłócenia i doceniamy waszą cierpliwość.
* * Root Cause Analysis * * / Incydent: Nieregularne błędy 5xx w różnych usługach * * Range dat: * * 9 września 2026, 7: 00 - 9: 20 EDT\ (około 2 godzin 20 minut zderzenia przerywanego\) * * Uderzenie: * * Niektóre wnioski złożone do API EmailAuthScore i związanych z nimi usług o przerywanym zwrocie odpowiedzi na błędy. Uderzenie było raczej przerywane niż ciągłe i ograniczało się do określonych okien opisanych w poniższej linii czasowej. / Stan: Rozwiązane Podsumowanie W dniu 9 września 2026 r. planowane zwiększenie zdolności przetwarzania oparć doprowadziło do zwiększenia obciążenia przyłączeniowego wewnętrznego komponentu infrastruktury wykorzystywanego do wspierania dalszego przetwarzania dla kilku usług. Komponent ten osiągnął próg wewnętrznej przepustowości, który spowodował opóźnienia w przetwarzaniu i doprowadził do przerywanych odpowiedzi na błędy dotyczące API w skali EmailAuthScore i powiązanych usług dla podzbioru wniosków. Kwestia ta została zidentyfikowana poprzez połączenie monitorowania wewnętrznego i sprawozdań z okresu oceny skutków. Socure inżynieria skorelowała błędy z niedawną zmianą przepustowości i cofnęła je, co zatrzymało początkowy wzrost błędów. Drugi związany z tym wzrost błędów nastąpił wówczas, gdy oddzielna zmiana zdolności produkcyjnej, dokonana wcześniej dla innej usługi wewnętrznej, wprowadziła dodatkowe obciążenie na ten sam wspólny komponent; inżynieria zastosowała dalsze ograniczenia, po których wszystkie usługi, których to dotyczy, powróciły do normalnej, stabilnej eksploatacji. Sekcja 5 nakreśla działania naprawcze i zapobiegawcze, do których Socure zobowiązuje się, z priorytetem w zakresie poprawy widoczności w zdolności przepustowej infrastruktury i zapobiegania opóźnieniom w jakimkolwiek pojedynczym komponencie wewnętrznym przed wpłynięciem na przetwarzanie wniosku użytkownika. # 2. 124; * * Data / Czas\ (EDT\) * * 124; * * Zdarzenie * * 124; {C: $999966} {f: 124; * * 9 września 2026 07: 00 AM * * 124; Po planowanym wzroście zdolności przetwarzania backend, API EmailAuthScore rozpoczął przerywane zwracanie odpowiedzi błędów. VIId; * * 9 września 2026 07: 20 AM * * 124; Niedawna zmiana zdolności produkcyjnej została przywrócona; wskaźniki błędów wróciły do normy. * * 9 września 2026 08: 45 AM * * 124; Odrębna zmiana zdolności produkcyjnej dokonana wcześniej dla innej usługi wewnętrznej, umieściła dodatkowe obciążenie na tym samym współdzielonym komponencie wewnętrznym, a API EmailAuthScore ponownie rozpoczął przerywany zwrot odpowiedzi błędów. VIId; * * 9 września 2026 09: 20 AM * * 124; zastosowano dodatkowe ograniczenia; wskaźniki błędów wróciły do normy i pozostały stabilne. 124; * * 9 września 2026 01: 13 PM * * 124; Na wszelki wypadek Socure tymczasowo przekierowała część wewnętrznego przetwarzania z dala od danego komponentu wewnętrznego, aby bezpiecznie zakończyć pozostały wzrost zdolności produkcyjnej. Po tej zmianie nie zaobserwowano dalszych błędów. * * * * * * * * * * * * Pierwotna przyczyna korzenia: * * W ramach planowanych prac mających na celu zwiększenie przepustowości systemu przed przewidywanym popytem, Socure zwiększył zdolność przetwarzania usług wspomagających. Zmiana ta zwiększyła liczbę połączeń z wewnętrznym komponentem komunikacyjnym służącym do wspierania dalszego przetwarzania tych usług. Element ten osiągnął wewnętrzny limit zdolności przyłączeniowej, co doprowadziło do opóźnień w podłączaniu i przetwarzaniu. Opóźnienia te doprowadziły do dodatkowego opóźnienia, a w niektórych przypadkach do odwrotnego nacisku na przetwarzanie wniosków, co przyczyniło się do nieregularnego podwyższenia poziomu błędu w API EmailAuthScore i związanych z nim usług w odniesieniu do podzbioru wniosków podczas opisanych powyżej okien zderzeniowych. * * * Składające się czynniki: * * * Nagłe zwiększenie popytu na przepustowość infrastruktury przekroczyło przepustowość, która natychmiast nie była dostępna w ramach wewnętrznego komponentu komunikacyjnego. 4. Po stwierdzeniu, że podwyższone poziomy błędów były powiązane z niedawną zmianą zdolności produkcyjnej, inżynieria Socure cofnęła tę zmianę, co zatrzymało początkowy wzrost błędów. Drugi związany z tym wzrost błędów nastąpił wtedy, gdy oddzielna zmiana zdolności produkcyjnej, dokonana wcześniej dla innej usługi wewnętrznej, wprowadziła dodatkowe obciążenie na ten sam wspólny składnik. Inżynieria zastosowała dodatkowe środki łagodzące, w tym tymczasowe przekierowanie części wewnętrznego przetwarzania z dala od danego komponentu w odniesieniu do usług, które miały wpływ. Po tych działaniach wszystkie usługi, które miały wpływ na środowisko, wróciły do normalnego, stabilnego funkcjonowania, co Socure potwierdził poprzez dalsze monitorowanie. Uzasadnienie 5. Działania naprawcze i zapobiegawcze 124; * * Działanie * * 124; * * Opis * * 124; * * ETA / Status * * 124; {C: $aaccff} 124; {C: $aaccff} {f: 124; Optymalizacja wykorzystania przepustowości infrastrukturalnej 124; Skorygowana zdolność usługowa i wykorzystanie połączenia w celu zapewnienia, że przetwarzanie pozostaje w granicach obsługiwanej infrastruktury oraz w celu zmniejszenia ryzyka podobnych problemów związanych z pojemnością. 124; Sporządzono 124; 124; zwiększenie przepustowości infrastruktury komunikacyjnej 124; zwiększenie przepustowości bazowej infrastruktury komunikacyjnej w celu zapewnienia dodatkowej centrali i wsparcia przyszłego wzrostu natężenia ruchu. 124; Sporządzono 124; 124; Wzmocnienie monitorowania zdolności przepustowej i ostrzeżenia124; Dodanie aktywnego monitorowania i ostrzeżeń w celu zidentyfikowania potencjalnych ograniczeń przepustowości infrastruktury, zanim wpłyną one na wydajność usług. 124; W toku. ETA 30 września 2026 r. - 6 lekcji. * Proaktywne monitorowanie stanu infrastruktury musi być prowadzone przed zmianami zdolności przepustowej, nie tylko monitorowaniem poziomu zastosowania. * * * 7. Jesteśmy zobowiązani do: * Zakończenie działań naprawczych i zapobiegawczych wymienionych w sekcji 5. * Poprawa widoczności w zakresie zdrowia i zdolności krytycznej infrastruktury wewnętrznej przed przyszłą intensyfikacją działań. * Dostarczanie aktualizacji po zakończeniu wszystkich działań naprawczych.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Obecnie badamy problem, który spowodował wpływ na usługi DocV i Watchlist monitorowania, gdzie błędy zaobserwowano dziś 8 września, z 09: 05 AM EST do 09: 30 AM EST. System się odzyskał, pracujemy nad określeniem przyczyny.
Kwestia wpływająca na usługi monitoringu DocV i Watchlist 8 września została rozwiązana. Od 10: 35 nie zaobserwowano wpływu na klienta. Przepraszamy za wszelkie zakłócenia.
* * * Root Cause Analysis * * * * Incydent: * * Przerwanie usługi wpływające na dostęp do danych konta * * Zakres dat: * * 8 września 2026 r. * * Impact: * * DocV i Watchlist Monitors / Stan: Rozwiązane Podsumowanie Nieoczekiwane wyczerpanie pojemności bazy danych czasowo uniemożliwiło naszej platformie uzyskanie informacji o kontach na podzbiór żądań klientów. Podczas okna incydentu\ (10: 04 AM do 10: 31 AM EDT z 8- Sep- 2026\), niektórzy z żądań klienta doświadczyli podwyższonych wskaźników błędów podczas próby zapytania szczegółów konta. Po rutynowej aktualizacji konserwacji, równoległe połączenia ze środowisk kopii zapasowych przekroczyły normalne progi, nasycając dostępną pojemność bazy danych. Zespoły inżynieryjne bezpiecznie odłączyły zbędne środowiska i odświeżyły aktywne połączenia, przywracając pełną reaktywność i stabilność systemu. # # # 2. 124; * * Data / Czas\ (ET\) * * 124; * * Zdarzenie * * 124; {C: $999966} {f: 124; Pierwszy błąd 124; 10: 04 AM EST, 8 września 2026 r. 124; 124; Incydent zgłoszony 124; 10: 17 AM EST, 8 września 2026 r. 124; Redundant environmental connection pool izolowany 124; 10: 30 AM EST, 8 września 2026 r. 124; Incydent rozwiązany 124; 10: 31 AM EST, 8 września 2026 r. 124; # # # # 3. * * * Pierwotna przyczyna korzenia: * * Podczas planowanej aktualizacji systemu zwiększona retencja połączeń pomiędzy środowiskami wdrożeniowymi doprowadziła do nasycenia puli połączeń baz danych. W przypadku ruchu szczytowego spowodowały to opóźnienia w przetwarzaniu i skróty czasowe dla usług platformy zależnej. * * * Składające się czynniki: * * * Rygorystyczne parametry timeout połączenia opóźniły terminowe uwolnienie nieaktywnych przydziałów bazy danych przez pasywne środowisko. * Nieodpowiednia centrala węzła bazy danych utrudniała bezproblemowe przetwarzanie dodatkowych połączeń generowanych przez środowisko czuwania. * * * Czynniki niewnoszące wkładu: * * * Brak # # # 4. Rozdzielczość Pełna integralność obsługi została przywrócona poprzez następujące natychmiastowe działania: 1. Izolowanie nieaktywnych połączeń środowiskowych do natychmiast wolnej pojemności puli baz danych. 2. Wykonanie resetu aktywnych węzłów serwisowych w celu przywrócenia jasnych linii bazowych do bazy danych. Uzasadnienie # # # 5. Działania naprawcze i zapobiegawcze 124; * * Działanie * * 124; * * Opis * * 124; * * ETA / Status * * 124; {C: $aaccff} 124; {C: $aaccff} {f: 124; Poprawa wzorców dostępu do danych 124; Poprawa strategii buforowania i wzorców dostępu do danych w usługach wewnętrznych opartych na danych rachunkowych. 124; 15 października 2026 r. 124; PROGRAM 124; Automatyczne zarządzanie połączeniami 124; Wzmocnienie zarządzania cyklem życia połączeń i zautomatyzowane procedury czyszczenia dla nieaktywnych zadań tła. 124; 15 października 2026 r. 124; Lekcje wyuczone * * * Wzmocnienie Izolacji Rozmieszczania: * * Aktualizujemy nasze procedury wdrożeniowe, aby zapewnić całkowite rozdzielenie zasobów pomiędzy środowiskami aktywnymi i pasywnymi, eliminując konflikty międzyśrodowiskowe w trakcie aktualizacji. * * * Optymalizacja przydziału zasobów bazy danych: * * Aby zapewnić najwyższą wydajność, równoważymy nasze obciążenie pracą i zwiększamy ogólną wydajność i wydajność systemu. # # # 7. Następne kroki i trwające zaangażowanie Jesteśmy zobowiązani do: * Rozwiąż zidentyfikowane przyczyny za pomocą współdzielonych linii czasowych * Wdrożenie progów progowych progów progowych i progów progowych w zakresie aktywnego stosowania i poprawy infrastruktury są sfinalizowane.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
Nasz Vendor, SSA, poinformował, że obecnie istnieje problem zwiększonego opóźnienia wpływającego na moduł eCBSV. W rezultacie może wystąpić podwyższony czas reakcji. Nasz zespół aktywnie współpracuje z nimi, aby jak najszybciej rozwiązać ten problem. Przepraszamy za wszelkie niedogodności, które mogą spowodować i doceniamy waszą cierpliwość i zrozumienie.
SSA rozwiązała podwyższone opóźnienie wpływające na moduł eCBSV od 2: 00 AM ET. Czas reakcji powrócił do normy. Dziękuję za cierpliwość i zrozumienie.
Automatyczne tłumaczenie oficjalnej aktualizacji incydentu.
We are investigating a slight degradation on the Watchlist product due to latency. Affecting both ID+ and RiskOS. The team is actively investigating this issue at this time.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
Between 1:21 AM and 2:15 AM EDT on August 4, 2026, a subset of DocV webhook delivery notifications experienced elevated 401 response rates. The issue is fully resolved and webhook delivery is now operating normally. A full Root Cause Analysis (RCA) will be shared once the investigation concludes.
