Socure driftsforstyrrelser

1. 27. oktober 2026 kl. 17.08 UTCresolved

   Den 27. oktober 2026 var nogle kunder ude af stand til at modtage RiskOS Sandbox webkroge. Spørgsmålet var forårsaget af ugyldige webhook konfigurationer, der fik Sandbox meddelelse afsender til at stoppe behandling begivenheder. De misdannede konfigurationer er siden blevet rettet. Al behandling har genvundet og webhook levering er med succes genoptaget

Automatisk oversat fra den officielle hændelsesopdatering.

1. 23. oktober 2026 kl. 21.00 UTCmonitoring

   SSA oplever i øjeblikket en service- indslagsbegivenhed, der påvirker flere applikationer og tjenester, herunder den elektroniske Consent Based Social Security Number Verification (eCBSV) service. Et lille antal transaktioner påvirkes, da afbrydelsen først blev bemærket omkring 4: 47 PM (ET) den 23. oktober 2026. Vi vil dele en anden opdatering, når vi modtager meddelelse om, at tjenesten er blevet genoprettet, og eCBSV fungerer normalt igen.

2. 23. oktober 2026 kl. 21.12 UTCresolved

   Ved ca. 4: 56 (ET) er tjenesten blevet genoprettet, og eCBSV fungerer normalt på dette tidspunkt. Vi undskylder for eventuelle ulemper.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 19. oktober 2026 kl. 19.04 UTCinvestigating

   Vi er i øjeblikket ved at undersøge et problem, der forårsager periodisk latency med at vise og downloade DocV-billeder for en lille procentdel af afsluttede transaktioner. Der er ingen indvirkning på DocV eller evalueringer på dette tidspunkt, men billeder kan tage ekstra tid at dukke op.

2. 19. oktober 2026 kl. 21.15 UTCmonitoring

   Vores team har taget skridt til at afbøde latency oplevet for DocV billede display og downloads. Der er stadig ingen indvirkning på DocV evalueringer på dette tidspunkt, og holdet vil fortsætte med at overvåge situationen. Vi vil give endnu en opdatering, når alle virkninger er blevet løst.

3. 20. oktober 2026 kl. 01.57 UTCresolved

   Dette problem er løst, og vi overvåger præstationerne for at sikre, at tjenesterne forbliver stabile. Vi undskylder for eventuelle ulemper.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 18. oktober 2026 kl. 19.33 UTCresolved

   SSA oplevede en service- indslagsbegivenhed, der påvirkede flere applikationer og tjenester, herunder tjenesten for elektronisk Consent Based Social Security Number Verification (eCBSV). Et lille antal transaktioner blev påvirket, da afbrydelsen begyndte omkring 2: 50 PM (ET) den 18. oktober 2026, og blev løst omkring 3: 10 PM (ET). Tjenesten er blevet genoprettet, og eCBSV fungerer normalt på dette tidspunkt.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 16. oktober 2026 kl. 20.20 UTCinvestigating

   Startende på 3: 00 EDT, kan nogle kunder opleve intermitterende fejl eller mislykkede anmodninger, når du bruger RiskOS Evaluere API 'er. Vi har identificeret et databaseproblem og arbejder aktivt på at løse det. Vi undskylder forstyrrelsen og værdsætter din tålmodighed, mens vi undersøger det.

2. 16. oktober 2026 kl. 21.18 UTCmonitoring

   Vi har truffet en midlertidig foranstaltning, og den forhøjede fejlprocent er faldet. Vi har ikke observeret relaterede fejl de sidste 15 minutter. Vi flytter hændelsen til overvågning, mens vi fortsætter arbejdet med en fuldstændig løsning. Vi deler en ny opdatering, når situationen ændrer sig.

3. 16. oktober 2026 kl. 22.59 UTCmonitoring

   Vi værdsætter din tålmodighed, da vores team stadig overvåger situationen nøje. Fejlprocenterne er faldet, efterhånden som vi fortsætter med at arbejde hen imod en fuldstændig løsning.

4. 17. oktober 2026 kl. 02.10 UTCresolved

   Hændelsen er blevet løst, og vi ser ikke længere fejl. Tjenesterne fungerer normalt, og vi vil fortsætte med at overvåge ydeevnen. Vi sætter pris på din tålmodighed, mens vi arbejdede os igennem dette.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 16. oktober 2026 kl. 02.23 UTCresolved

   Socure RiskOS og ID + tjenester er blevet genoprettet. En fejl i en udrulning forårsagede en midlertidig stigning i fejlrater fra vores tjenester mellem 18: 12 og 18: 56 Østlige tid. Fejlen er blevet rettet, og tjenesterne er stabile nu. Vi forstår, at denne afbrydelse er uacceptabel, og at der vil foreligge en fuldstændig RCA, så snart den fuldstændige analyse af spørgsmålet er afsluttet.

2. 17. oktober 2026 kl. 01.42 UTCpostmortem

   # * * Root Cause Analysis * * * * Tilfælde: * * Udbrud af Socure APIs * * Datoområde: * * 15- Okt. 2026 * * Indvirkning: * * Afbrydelse i drift for Socure API 'er * * Status: * * Opløst # # # * * 1. Oversigt * * Den 15-okt-2026, mellem 18: 12 og 19: 00 Østlige tid Socure oplevede en afbrydelse af sin RiskOS og ID\ + API 'er, forårsager fejl og timeouts til brugerne. Den første fase løb fra 18: 12 til 18: 20, og var en stor afbrydelse for næsten alle tjenester. Den anden fase af udfald løb fra 18: 20 til 19: 00, og var en delvis afbrydelse for tjenester, der er afhængige af KYC data, hvor kunderne så forhøjede fejlrater og lateress for nogle tjenester, men trafikken blev stadig serveret. # # * * 2. Tidslinje * * * * Dato / tid\ (ET\) * * * * 18: 12 * * Note 124; En rutinemæssig oprydning ændring fusioneres, flytte en kilde repo fra et kodearkiv til et andet. En fejl i vores revisionsværktøj skjuler omfanget af ændringen. * * 18: 13 * * I 124; ArgoCD genstarter de fleste tjenester i en større Kubernetes klynge alle på én gang. Alle tjenestebælter kører. Delvis API service genoprettet, selvom KYC tjenester stadig ser en forhøjet fejlprocent. * * 18: 21 * * # 124; Floden af start trafik overvælder vores KYC Søgning service. Fejlhastigheder spike. * * 18: 42 * * Note 124; SRE diagnosticerer cascading fejl påvirker KYC søgning og blokerer trafik til det, så det kan komme op. * * 18: 56 * * • 124; KYC Søgeservice er fuldt op, og SRE returnerer trafik til det. Downstream-tjenesterne stabiliseres. * * 19: 00 * * Hold 124; Al trafik kører som normalt, hændelse erklæret stabil. # # # * * 3. Rodårsag * * * * * Primær rodårsag: * * Som en del af en løbende migration, en on-call SRE foretaget en ændring til ArgoCD, det system, vi bruger til at styre kubernetes klynger Socure kører sine tjenester på. Ændringen blev undersøgt til en enkelt klynge, blev gennemgået omhyggeligt, før du skubbede, forårsagede ingen problemer i andre miljøer, det blev testet i, og burde ikke have haft nogen synlig indvirkning. Desværre, ændringen opdateret en arv indstilling, der ikke vises i ændringen gennemgang. At arv indstilling styret, hvad tjenester ArgoCD lykkedes, og fjernet mange levende tjenester fra ArgoCD. ArgoCD fjernede derfor kort disse tjenester fra produktionen, inden indstillingen blev korrigeret. * * * Bidragende Faktorer: * * KYC Search service er et backend stykke Socure infrastruktur, der leverer tjenester til flere af vores interne produkter. Da denne tjeneste blev genstartet fra bunden på samme tid som alle kunderne i tjenesten gjorde, et lille antal kapsler i tjenesten styrtede ned under belastning. Dette øgede belastningen på de resterende kapsler, hvoraf nogle styrtede ned igen. Denne cascading fiasko forhindrede tjenesten i at komme tilbage på sin egen måde, som resten af Socure infrastruktur gjorde. Diagnosticering af denne separate fejltilstand tog ekstra tid, og oprydning det rettet de resterende fejl efter den første hændelse. # # * * 4. Opløsning * * Den ArgoCD ændring blev vendt tilbage med det samme, forårsager tjenester til at komme tilbage til deres tidligere tilstand. KYC Search service krævede manuel indsats for at blokere trafikken fra at nå det, indtil et flertal af kapsler i tjenesten kunne komme op. Efter tjenesten var sund, kunne vi genoprette trafikken og løse den samlede hændelse. # # # * * 5. Korrigerende og forebyggende handlinger * * # # # * * 6. Lektioner lært * * * Socure 's værktøj til visning af de ændringer, det gør til produktionen ikke virker korrekt. Vi gennemgår disse værktøjer for at sikre, at de fungerer korrekt under alle brugstilfælde, og løser sådanne tilfælde, hvor det fulde omfang af en ændring ikke er klart. * Øge den eksisterende ændring gennemgang proces med autentisk støtte. Mens den specifikke ændring i dette tilfælde ikke var synlig i planen, har en ekstra anmelder, der er understøttet af en omfattende uddannelse model vil hjælpe med at sikre, at problemer er fanget før indsendelse. * Selv ændringer, der synes at have ingen indvirkning, når de er lavet til styringssystemet for vores produktionsjob, kan være risikable, og bør flyttes yderligere ud af amerikanske åbningstider. * Vores KYC Search service er sårbar over for et "torden- besætning" problem, når det modtager fuld trafik flow, når det ikke er fuldt online. Vi er nødt til at styrke vores afbrydere for at forhindre, at dette problem gentager sig. * Vi kører for mange af vores centrale API-tjenester i en enkelt kubernetes klynge. Selv om denne klynge er fordelt på flere disponibilitetszoner, skaber det delte kontrolplan en for høj eksplosionsradius for ændringer i klyngen. # # # * * 7. Næste skridt og igangværende engagement * * Socure forstår vores kunder stole på os som en central udbyder i kritiske forretningsstrømme, og at denne service afbrydelse er ikke acceptabel. Vi undskylder for den virkning, dette spørgsmål har forårsaget, og forpligter os til at sikre, at det ikke gentager sig. Til det formål vil vi levere detaljer om vores planer om at re- arkitekte vores applikationslayout i november, samt forbedre modstandsdygtigheden af KYC Search service i Q1 af næste år.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 15. oktober 2026 kl. 23.15 UTCresolved

   Socure RiskOS og ID + tjenester er blevet genoprettet. En fejl i en udrulning forårsagede en midlertidig stigning i fejlrater fra vores tjenester mellem 18: 12 og 18: 56 Østlige tid. Fejlen er blevet rettet, og tjenesterne er stabile nu. Vi forstår, at denne afbrydelse er uacceptabel, og at der vil foreligge en fuldstændig RCA, så snart den fuldstændige analyse af spørgsmålet er afsluttet.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 15. oktober 2026 kl. 22.39 UTCinvestigating

   Vi oplever i øjeblikket en aktiv hændelse, der påvirker tjenestens tilgængelighed. Vi er i øjeblikket ved at undersøge spørgsmålet og vil give opdateringer, så snart vi har yderligere oplysninger.

2. 15. oktober 2026 kl. 23.04 UTCmonitoring

   Socure RiskOS og ID + tjenester er blevet genoprettet. En fejl i en udrulning forårsagede en midlertidig stigning i fejlrater fra vores tjenester mellem 18: 20 og 18: 56 Østlige tid. Fejlen er blevet rettet, og tjenesterne er stabile nu. Vi forstår, at denne afbrydelse er uacceptabel, og at der vil foreligge en fuldstændig RCA, så snart den fuldstændige analyse af spørgsmålet er afsluttet.

3. 15. oktober 2026 kl. 23.04 UTCmonitoring

   Socure RiskOS og ID + tjenester er blevet genoprettet. En fejl i en udrulning forårsagede en midlertidig stigning i fejlrater fra vores tjenester mellem 18: 12 og 18: 56 Østlige tid. Fejlen er blevet rettet, og tjenesterne er stabile nu. Vi forstår, at denne afbrydelse er uacceptabel, og at der vil foreligge en fuldstændig RCA, så snart den fuldstændige analyse af spørgsmålet er afsluttet.

4. 15. oktober 2026 kl. 23.08 UTCresolved

   Socure RiskOS og ID + tjenester er blevet genoprettet. En fejl i en udrulning forårsagede en midlertidig stigning i fejlrater fra vores tjenester mellem 18: 12 og 18: 56 Østlige tid. Fejlen er blevet rettet, og tjenesterne er stabile nu. Vi forstår, at denne afbrydelse er uacceptabel, og at der vil foreligge en fuldstændig RCA, så snart den fuldstændige analyse af spørgsmålet er afsluttet.

5. 17. oktober 2026 kl. 01.30 UTCpostmortem

   # * * Root Cause Analysis * * * * Tilfælde: * * Udbrud af Socure APIs * * Datoområde: * * 15- Okt. 2026 * * Indvirkning: * * Afbrydelse i drift for Socure API 'er * * Status: * * Opløst # # # * * 1. Oversigt * * Den 15-okt-2026, mellem 18: 12 og 19: 00 Østlige tid Socure oplevede en afbrydelse af sin RiskOS og ID\ + API 'er, forårsager fejl og timeouts til brugerne. Den første fase løb fra 18: 12 til 18: 20, og var en stor afbrydelse for næsten alle tjenester. Den anden fase af udfald løb fra 18: 20 til 19: 00, og var en delvis afbrydelse for tjenester, der er afhængige af KYC data, hvor kunderne så forhøjede fejlrater og lateress for nogle tjenester, men trafikken blev stadig serveret. # # * * 2. Tidslinje * * * * Dato / tid\ (ET\) * * * * 18: 12 * * Note 124; En rutinemæssig oprydning ændring fusioneres, flytte en kilde repo fra et kodearkiv til et andet. En fejl i vores revisionsværktøj skjuler omfanget af ændringen. * * 18: 13 * * I 124; ArgoCD genstarter de fleste tjenester i en større Kubernetes klynge alle på én gang. Alle tjenestebælter kører. Delvis API service genoprettet, selvom KYC tjenester stadig ser en forhøjet fejlprocent. * * 18: 21 * * # 124; Floden af start trafik overvælder vores KYC Søgning service. Fejlhastigheder spike. * * 18: 42 * * Note 124; SRE diagnosticerer cascading fejl påvirker KYC søgning og blokerer trafik til det, så det kan komme op. * * 18: 56 * * • 124; KYC Søgeservice er fuldt op, og SRE returnerer trafik til det. Downstream-tjenesterne stabiliseres. * * 19: 00 * * Hold 124; Al trafik kører som normalt, hændelse erklæret stabil. # # # * * 3. Rodårsag * * * * * Primær rodårsag: * * Som en del af en løbende migration, en on-call SRE foretaget en ændring til ArgoCD, det system, vi bruger til at styre kubernetes klynger Socure kører sine tjenester på. Ændringen blev undersøgt til en enkelt klynge, blev gennemgået omhyggeligt, før du skubbede, forårsagede ingen problemer i andre miljøer, det blev testet i, og burde ikke have haft nogen synlig indvirkning. Desværre, ændringen opdateret en arv indstilling, der ikke vises i ændringen gennemgang. At arv indstilling styret, hvad tjenester ArgoCD lykkedes, og fjernet mange levende tjenester fra ArgoCD. ArgoCD fjernede derfor kort disse tjenester fra produktionen, inden indstillingen blev korrigeret. * * * Bidragende Faktorer: * * KYC Search service er et backend stykke Socure infrastruktur, der leverer tjenester til flere af vores interne produkter. Da denne tjeneste blev genstartet fra bunden på samme tid som alle kunderne i tjenesten gjorde, et lille antal kapsler i tjenesten styrtede ned under belastning. Dette øgede belastningen på de resterende kapsler, hvoraf nogle styrtede ned igen. Denne cascading fiasko forhindrede tjenesten i at komme tilbage på sin egen måde, som resten af Socure infrastruktur gjorde. Diagnosticering af denne separate fejltilstand tog ekstra tid, og oprydning det rettet de resterende fejl efter den første hændelse. # # * * 4. Opløsning * * Den ArgoCD ændring blev vendt tilbage med det samme, forårsager tjenester til at komme tilbage til deres tidligere tilstand. KYC Search service krævede manuel indsats for at blokere trafikken fra at nå det, indtil et flertal af kapsler i tjenesten kunne komme op. Efter tjenesten var sund, kunne vi genoprette trafikken og løse den samlede hændelse. # # # * * 5. Korrigerende og forebyggende handlinger * * # # # * * 6. Lektioner lært * * * Socure 's værktøj til visning af de ændringer, det gør til produktionen ikke virker korrekt. Vi gennemgår disse værktøjer for at sikre, at de fungerer korrekt under alle brugstilfælde, og løser sådanne tilfælde, hvor det fulde omfang af en ændring ikke er klart. * Øge den eksisterende ændring gennemgang proces med autentisk støtte. Mens den specifikke ændring i dette tilfælde ikke var synlig i planen, har en ekstra anmelder, der er understøttet af en omfattende uddannelse model vil hjælpe med at sikre, at problemer er fanget før indsendelse. * Selv ændringer, der synes at have ingen indvirkning, når de er lavet til styringssystemet for vores produktionsjob, kan være risikable, og bør flyttes yderligere ud af amerikanske åbningstider. * Vores KYC Search service er sårbar over for et "torden- besætning" problem, når det modtager fuld trafik flow, når det ikke er fuldt online. Vi er nødt til at styrke vores afbrydere for at forhindre, at dette problem gentager sig. * Vi kører for mange af vores centrale API-tjenester i en enkelt kubernetes klynge. Selv om denne klynge er fordelt på flere disponibilitetszoner, skaber det delte kontrolplan en for høj eksplosionsradius for ændringer i klyngen. # # # * * 7. Næste skridt og igangværende engagement * * Socure forstår vores kunder stole på os som en central udbyder i kritiske forretningsstrømme, og at denne service afbrydelse er ikke acceptabel. Vi undskylder for den virkning, dette spørgsmål har forårsaget, og forpligter os til at sikre, at det ikke gentager sig. Til det formål vil vi levere detaljer om vores planer om at re- arkitekte vores applikationslayout i november, samt forbedre modstandsdygtigheden af KYC Search service i Q1 af næste år.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 15. oktober 2026 kl. 14.52 UTCidentified

   Vi oplever i øjeblikket en uplanlagt afbrydelse, der påvirker eCBSV-modulet på grund af SSA-svar, hvilket resulterer i 5xx fejl. Socure har kontaktet sælgeren for at undersøge problemet og afgøre, hvornår service forventes at blive genoprettet.

2. 15. oktober 2026 kl. 14.55 UTCmonitoring

   Fejlprocenterne er faldet i løbet af de sidste par minutter. Vi overvåger disse priser, og afventer vores leverandør svar.

3. 15. oktober 2026 kl. 15.59 UTCresolved

   SSA oplevede en service- indslagsbegivenhed, der påvirkede flere applikationer og tjenester, herunder tjenesten for elektronisk Consent Based Social Security Number Verification (eCBSV). Afbrydelsen begyndte omkring 10: 19AM (ET) den 15. oktober 2026, og blev løst omkring 10: 41AM (ET). Tjenesten er blevet genoprettet, og eCBSV fungerer normalt på dette tidspunkt.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 9. oktober 2026 kl. 23.25 UTCresolved

   Vi oplevede forhøjede transaktionssvigt, der påvirkede Watchlist Plus og Watchlist Premier. Problemet er løst, og vi overvåger præstationerne for at sikre, at tjenesterne forbliver stabile. Vi undskylder for eventuelle ulemper.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 22. september 2026 kl. 12.26 UTCidentified

   Vi undersøger et problem, der forårsager forsinkelser i tilfælde af opdateringer bliver afspejlet i RiskOS Case Management UI. Vores ingeniørhold arbejder aktivt på at identificere årsagen og genoprette normal opdateringsadfærd. Vi vil give yderligere opdateringer, efterhånden som flere oplysninger bliver tilgængelige. Dette er ikke påvirke API evaluering anmodninger.

2. 22. september 2026 kl. 13.22 UTCmonitoring

   Vi har identificeret den grundlæggende årsag til problemet påvirker opdateringer i RiskOS Case Management UI. Dette spørgsmål er begrænset til en delmængde af sager og specifikt påvirker Case Search funktionalitet, som midlertidigt kan vise forældede tilfælde stater. Bemærk venligst, at sagsstatusdata, der vises i Case List og individuelle Case Detaljer sider er nøjagtige og afspejler den seneste tilstand. Vores Engineering team har indsat en rettelse for alle nyligt opdaterede sager og arbejder aktivt på at re- synkronisere de resterende berørte sager for at sikre datakonsistens på tværs af søgning. Vi vil give en anden opdatering, når normal adfærd er fuldt restaureret.

3. 22. september 2026 kl. 14.09 UTCresolved

   Det spørgsmål, der påvirker sagsstatusopdateringer, er blevet løst. Alle de nye sager behandles korrekt. Vi undskylder oprigtigt for eventuelle ulemper dette kan have forårsaget og værdsætter din tålmodighed, mens vores team arbejdede for at løse det.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 21. september 2026 kl. 11.57 UTCresolved

   Mellem 6: 28 og 6: 57 AM ET den 21. september, et problem under en operationel aktivitet forårsagede nogle webhook meddelelser forbundet med ældre evalueringer fra den seneste måned til at blive leveret igen. Aktuelle evalueringer og webhook behandling var ikke påvirket. Spørgsmålet er løst. Vi undskylder for enhver forvirring eller yderligere støj, som dette kan have forårsaget.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 16. september 2026 kl. 14.36 UTCinvestigating

   Vi undersøger forsinkelser, der påvirker batch behandling på instrumentbrættet. Kunder kan opleve forsinket behandling, mens vi gennemgår problemet.

2. 16. september 2026 kl. 14.49 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 16. september 2026 kl. 09.39 UTCidentified

   Vi observerer øget latency påvirker nogle kunder ved hjælp af vores svig og syntetiske produkter. Vores team undersøger sagen aktivt. API anmodninger er afsluttet med succes, og vi observerer ikke nogen API fejl på dette tidspunkt. Vi vil give yderligere opdateringer, efterhånden som flere oplysninger bliver tilgængelige.

2. 16. september 2026 kl. 10.07 UTCmonitoring

   Vi ser en forbedring i latency påvirker nogle kunder ved hjælp af vores svig og syntetiske produkter. Vi vil fortsat overvåge situationen nøje.

3. 16. september 2026 kl. 10.12 UTCresolved

   Spørgsmålet om svig og syntetiske tjenesteydelser er løst, og tjenesten er vendt tilbage til normal drift. Kunderne bør ikke længere opleve øget ventetid eller forsinkelser, når de får adgang til bedragerier og syntetiske tjenester

Automatisk oversat fra den officielle hændelsesopdatering.

1. 10. september 2026 kl. 19.39 UTCresolved

   Mellem 8: 30 og 2: 00 EST, vi observerede en stigning i 5xx fejlrater, hvilket resulterede i intermitterende fejl eller mislykkede anmodninger for nogle kunder. Den samlede effekt var minimal, mindre end 0,01%. Fejlprocenten er siden vendt tilbage til normal. Dette spørgsmål er helt løst på nuværende tidspunkt. Vi undskylder for forstyrrelser og værdsætter din tålmodighed.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 9. september 2026 kl. 11.37 UTCresolved

   Mellem 7: 00 og 7: 20 EST, vi observeret en stigning i 5xx fejlrater, som kan have resulteret i periodiske fejl eller mislykkede anmodninger for nogle kunder. Fejlprocenten er siden vendt tilbage til normal, og vi undersøger den grundlæggende årsag til at sikre, at vi har løst problemet fuldt ud. Vi undskylder for forstyrrelser og værdsætter din tålmodighed.

2. 15. september 2026 kl. 18.15 UTCpostmortem

   * * Root årsag analyse * * * * Tilfælde: * * Intermitterende forhøjede 5xx fejl på tværs af tjenester * * Dato Område: * * September 9, 2026, 7: 00 AM - 9: 20 AM EDT\ (ca. 2 timer 20 minutter af intermitterende nedslag\) * * Indvirkning: * * Nogle anmodninger indsendt til EmailAuthScore API, og relaterede tjenester, periodisk returneret fejlsvar. Virkningen var intermitterende snarere end kontinuerlig og var begrænset til definerede vinduer beskrevet i tidslinjen nedenfor. * * Status: * * Opløst # # # * * 1. Oversigt * * Den 9. september 2026 førte en planlagt stigning i kapaciteten til backend-behandling til en øget tilslutningsbelastning på en intern infrastrukturkomponent, der anvendes til at støtte downstream-behandling af flere tjenester. Denne komponent nåede en intern kapacitet tærskel, som indførte behandling forsinkelser og resulterede i intermitterende fejlsvar på EmailAuthScore API og relaterede tjenester for en delmængde af anmodninger. Spørgsmålet blev identificeret gennem en kombination af intern overvågning og rapporter under effektvinduet. Socure engineering korrelerede fejlene med den seneste kapacitetsændring og vendte det, hvilket stoppede den oprindelige stigning i fejl. En anden, relaterede stigning i fejl derefter opstod, når en separat kapacitetsændring, som tidligere blev foretaget for en anden intern tjeneste, placeret ekstra belastning på den samme delte komponent; ingeniørarbejde anvendt yderligere lempelser, hvorefter alle berørte tjenester vendte tilbage til normal, stabil drift. I afsnit 5 skitseres de korrigerende og forebyggende foranstaltninger, som Socure forpligter sig til, med høj prioritet at forbedre synligheden af infrastrukturkapacitet og forhindre forsinkelser i en enkelt intern komponent i at påvirke kundeorienteret behandling af anmodninger. # # * * 2. Tidslinje * * * * dato / tidspunkt\ (EDT\) * * ECB 's Styrelsesråd ; * * September 9, 2026 07: 00 AM * *; ; * 9. september 2026 07: 20 Den seneste kapacitetsændring blev vendt tilbage; fejlrater vendt tilbage til normal. ; * September 9, 2026 08: 45 AM * *; ; * * September 9, 2026 09: 20 AM * * ; * 9. september 2026 01: 13 Som en forholdsregel, Socure midlertidigt omdirigeret en del af den interne behandling væk fra den berørte interne komponent til sikkert at fuldføre den resterende kapacitetsstigning. Der blev ikke observeret yderligere fejl efter denne ændring. # # # * * 3. Rodårsag * * * * * Primær rodårsag: * * Som led i det planlagte arbejde med at øge systemkapaciteten forud for den forventede efterspørgsel øgede Socure behandlingskapaciteten for backend-tjenester. Denne ændring øgede antallet af forbindelser til en intern meddelelseskomponent, der anvendes til at understøtte downstream-behandling af disse tjenester. Denne komponent nåede op på en intern kapacitetsgrænse for tilslutning, hvilket resulterede i tilslutnings- og behandlingsforsinkelser. Disse forsinkelser indført yderligere latency og, i nogle tilfælde, backpressure i anmodning behandling, som bidrog til intermitterende forhøjede fejlrater på EmailAuthScore API og relaterede tjenester til en delmængde af anmodninger under kollision vinduer beskrevet ovenfor.. * * * Bidragende Faktorer: * * * En pludselig stigning i efterspørgslen efter infrastrukturkapacitet oversteg den kapacitet, der umiddelbart ikke var tilgængelig inden for den interne meddelelseskomponent. # # * * 4. Opløsning * * Efter at have identificeret, at de forhøjede fejlrater var knyttet til den seneste kapacitetsændring, trak Socure Engineering ændringen tilbage, hvilket stoppede den oprindelige stigning i fejl. En anden, relateret stigning i fejl derefter opstod, når en separat kapacitetsændring, der tidligere blev foretaget for en anden intern tjeneste, placeret ekstra belastning på den samme delte komponent. Engineering anvendt yderligere lempelser, herunder midlertidigt omdirigering en del af intern behandling væk fra den berørte komponent for de ramte tjenester. Efter disse handlinger, alle berørte tjenester vendte tilbage til normal, stabil drift, som Socure bekræftet gennem fortsat overvågning. Name # # # * * 5. Korrigerende og forebyggende handlinger * * * * * * * * * * * * * * * * * * * * * ECB 's Styrelsesråd • • • • • • • • • • • • • •; ; Forøg meddelelseskapacitet; Forøg kapaciteten i den underliggende meddelelsesinfrastruktur for at give ekstra headroom og understøtte fremtidige stigninger i trafikmængden.; Note 124; Forbedre kapacitetsovervågning og alarmering; Tilføj proaktiv overvågning og advarsler til at identificere potentielle infrastrukturkapacitetsbegrænsninger, før de påvirker serviceydelsen.; I gang. ETA 30 Sep 2026. # # # * * 6. Lektioner lært * * * Der skal være en proaktiv overvågning af infrastrukturernes sundhed forud for kapacitetsændringer, ikke kun overvågning på anvendelsesniveau. # # # * * 7. Næste skridt og igangværende engagement * * Vi er forpligtet til: * Fuldførelse af de korrigerende og forebyggende foranstaltninger, der er nævnt i afsnit 5. * Forbedring af synligheden af kritisk intern infrastrukturs sundhed og kapacitet forud for fremtidige skaleringsaktiviteter. * Giver en opfølgning opdatering, når alle korrigerende handlinger er afsluttet.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 8. september 2026 kl. 14.54 UTCinvestigating

   Vi er i øjeblikket ved at undersøge et problem, der skabte en indvirkning på DocV og Watchlist overvågning tjenester, hvor fejl blev observeret i dag 8. september, fra 09: 05 AM EST til 09: 30 AM EST. Systemet er kommet sig, vi arbejder på at bestemme en rod årsag på dette tidspunkt.

2. 8. september 2026 kl. 15.41 UTCresolved

   Spørgsmålet om overvågning af DocV og Watchlist den 8. september er løst. Der er ikke observeret nogen kundepåvirkning siden 10: 35 EST. Vi undskylder for eventuelle forstyrrelser.

3. 17. september 2026 kl. 19.47 UTCpostmortem

   # # # # * Root årsag analyse * * * * Tilfælde: * * Service Afbrydelse påvirker Account Data Access * * Dato Område: * * September 8, 2026\ (10: 04 AM til 10: 31 AM EDT\) * * Påvirkning: * * DocV og Watchlist Skærme * * Status: * * Opløst # # # 1. Oversigt En uventet udtømning af backend database kapacitet midlertidigt forhindrede vores platform i at hente kontooplysninger til en delmængde af klientforespørgsler. Under hændelsesvinduet\ (10: 04 til 10: 31 AM EDT af 8-Sep-2026\), oplevede nogle af klientens anmodninger forhøjede fejlrater, når du forsøger at spørge kontooplysninger. Efter en rutinemæssig vedligeholdelse opdatering, samtidig forbindelser fra backup miljøer overskredet normale tærskler, mættende tilgængelig database kapacitet. Engineering teams sikkert afbrudt de overflødige miljøer og genopfrisket aktive forbindelser, genoprette fuld systemets lydhørhed og stabilitet. # # # 2. Tidslinje * * dato / tid\ (ET\) * * ECB 's Styrelsesråd ; første fejl; kl. 12: 04 EST, 8 sep. 2026 ; Incident rapporteret i 124; 10: 17 AM EST, 8 Sep 2026 = 124; Redundant miljøtilslutningspool isoleret 10: 31 EST, 8 Sep 2026 Root Cause * * * Primær rodårsag: * * Under en skemalagt systemopdatering førte forhøjet tilslutningstilbageholdelse mellem implementeringsmiljøer til databasetilslutningspoolmætning. Under myldretidstrafik forårsagede dette forsinkelser i behandlingen og anmodede om timeout for afhængige platformstjenester. * * * Bidragende Faktorer: * * * Rigid tilslutning timeout parametre forsinket rettidig frigivelse af tomgang database tildelinger af passive miljø. * Utilstrækkelig database node headroom hindret problemfri behandling af ekstra forbindelser genereret af standby miljø. * * * Ikke-bidragende faktorer: * * * Ingen Opløsning Fuld service integritet blev genoprettet gennem følgende umiddelbare handlinger: 1. Isolering af ikke-aktive miljøforbindelser til straks gratis database pool kapacitet. 2. Udfører en rullende nulstilling af aktive serviceknudepunkter for at genetablere klare databasetilslutningsbasislinjer. Name # # # 5. Korrigerende og forebyggende handlinger * * * * * * * * * * * * * * * * * * * ECB 's Styrelsesråd ; Forbedring af dataadgangsmønstre; Forbedre caching strategi og dataadgangsmønstre i interne tjenester, der er afhængige af kontodata.; Name; # # # 6. Lektioner lært * * * Forbedret implementering isolation: * * Vi opdaterer vores implementeringsprocedurer for at sikre fuldstændig adskillelse af ressourcer på tværs af aktive og passive miljøer, hvilket eliminerer cross-environment ressource contention under opgraderinger. * * * Optimering af databaseressourceallokering: * * For at sikre maksimal ydeevne genafbalancerer vi vores arbejdsbyrde og øger den samlede systemkapacitet og effektivitet. # # # 7. Næste skridt & igangværende engagement Vi er forpligtet til: * Løs de identificerede grundlæggende årsager ved de delte tidslinjer * Implementere proaktive sikkerhedsvagter og overvågning tærskler, mens permanent anvendelse og infrastruktur forbedringer er afsluttet.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 2. september 2026 kl. 18.31 UTCidentified

   Vores Vendor, SSA, har rapporteret, at der i øjeblikket er et forhøjet latency problem påvirker eCBSV modul. Som et resultat, kan du opleve forhøjede responstider. Vores team arbejder aktivt sammen med dem om at løse problemet så hurtigt som muligt. Vi undskylder for eventuelle ulemper dette kan forårsage og værdsætter din tålmodighed og forståelse.

2. 3. september 2026 kl. 15.18 UTCresolved

   SSA løst den forhøjede latency påvirker eCBSV modul fra 2: 00 AM ET. Responstiderne er blevet normale igen. Tak for Deres tålmodighed og forståelse.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 10. august 2026 kl. 15.40 UTCinvestigating

   We are investigating a slight degradation on the Watchlist product due to latency. Affecting both ID+ and RiskOS. The team is actively investigating this issue at this time.

2. 10. august 2026 kl. 15.40 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 10. august 2026 kl. 15.52 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 10. august 2026 kl. 16.02 UTCresolved

   This incident has been resolved.

1. 4. august 2026 kl. 07.01 UTCresolved

   Between 1:21 AM and 2:15 AM EDT on August 4, 2026, a subset of DocV webhook delivery notifications experienced elevated 401 response rates. The issue is fully resolved and webhook delivery is now operating normally. A full Root Cause Analysis (RCA) will be shared once the investigation concludes.