Cronologia delle interruzioni di Socure

1. 27 ottobre 2026 alle ore 17:08 UTCresolved

   Il 27 ottobre 2026, alcuni clienti non sono stati in grado di ricevere RiskOS Sandbox webhooks. Il problema è stato causato da configurazioni webhook non valide che hanno causato il mittente di notifica Sandbox per interrompere gli eventi di elaborazione. Da allora le configurazioni malformate sono state corrette. Tutto il trattamento ha recuperato e webhook consegna ha ripreso con successo

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 23 ottobre 2026 alle ore 21:00 UTCmonitoring

   SSA sta attualmente vivendo un evento di ottimizzazione dei servizi che interessa più applicazioni e servizi, tra cui il servizio di verifica dei numeri di sicurezza sociale basati sul consenso elettronico (eCBSV). Un piccolo numero di operazioni sono interessate in quanto la perturbazione è stata notata per la prima volta a circa 4:47 PM (ET) il 23 ottobre 2026. Condivideremo un altro aggiornamento una volta ricevuto avviso che il servizio è stato ripristinato, e eCBSV sta funzionando di nuovo normalmente.

2. 23 ottobre 2026 alle ore 21:12 UTCresolved

   A circa 4:56 (ET), il servizio è stato ripristinato e la BCESV opera normalmente in questo momento. Ci scusiamo per eventuali inconvenienti che potrebbe aver causato.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 19 ottobre 2026 alle ore 19:04 UTCinvestigating

   Stiamo attualmente indagando su un problema che sta causando latenza intermittente con la visualizzazione e il download di immagini DocV per una piccola percentuale di transazioni completate. Non c'è alcun impatto su DocV né valutazioni in questo momento, ma le immagini possono richiedere tempo supplementare per apparire.

2. 19 ottobre 2026 alle ore 21:15 UTCmonitoring

   Il nostro team ha preso misure per mitigare la latenza vissuta per la visualizzazione e il download di immagini DocV. Continua a non avere alcun impatto sulle valutazioni DocV in questo momento e il team continuerà a monitorare la situazione. Forneremo un altro aggiornamento una volta che tutto l'impatto è stato risolto.

3. 20 ottobre 2026 alle ore 01:57 UTCresolved

   Questo problema è stato risolto e stiamo monitorando le prestazioni per garantire che i servizi rimangano stabili. Ci scusiamo per qualsiasi inconveniente che possa aver causato.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 18 ottobre 2026 alle ore 19:33 UTCresolved

   SSA ha sperimentato un evento di ottimizzazione dei servizi che ha interessato più applicazioni e servizi, tra cui il servizio Electronic Consent Based Social Security Number Verification (eCBSV). Un piccolo numero di operazioni sono state colpite come la disgregazione è iniziata a circa 2:50PM (ET) il 18 ottobre 2026, e è stato risolto a circa 3:10PM (ET). Il servizio è stato ripristinato e la BCESV opera normalmente in questo momento.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 16 ottobre 2026 alle ore 20:20 UTCinvestigating

   A partire dalle 3:00 EDT, alcuni clienti possono sperimentare errori intermittenti o richieste fallite durante l'utilizzo delle API RiskOS Evaluate. Abbiamo identificato un problema del database e stiamo lavorando attivamente per risolverlo. Ci scusiamo per la rottura e apprezziamo la vostra pazienza mentre indaghiamo.

2. 16 ottobre 2026 alle ore 21:18 UTCmonitoring

   Abbiamo preso una misura provvisoria, e il tasso di errore elevato è diminuito. Non abbiamo osservato errori correlati negli ultimi 15 minuti. Stiamo spostando l'incidente per monitorare mentre continuiamo a lavorare su una risoluzione completa. Condivideremo un altro aggiornamento quando la situazione cambia.

3. 16 ottobre 2026 alle ore 22:59 UTCmonitoring

   Apprezziamo la vostra pazienza poiché il nostro team sta ancora monitorando la situazione da vicino. I tassi di errore sono sottosostituiti mentre continuiamo a lavorare verso una risoluzione completa.

4. 17 ottobre 2026 alle ore 02:10 UTCresolved

   L'incidente è stato risolto e non vediamo più errori. I servizi funzionano normalmente e continueremo a monitorare le prestazioni. Apprezziamo la vostra pazienza mentre abbiamo lavorato attraverso questo.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 16 ottobre 2026 alle ore 02:23 UTCresolved

   I servizi Socure RiskOS e ID+ sono stati ripristinati. Un errore in un rollout ha causato un picco temporaneo dei tassi di errore dai nostri servizi tra 18:12 e 18:56 ora orientale. L'errore è stato corretto e i servizi sono stabili ora. Sappiamo che questo outage è inaccettabile e un RCA completo sarà disponibile non appena l'analisi completa del problema è completa.

2. 17 ottobre 2026 alle ore 01:42 UTCpostmortem

   ##Root Cause Analysis # **Incidente? Socure APIs Outage **Date Range: ** 15-Oct-2026 # Impatto # Interruzione in servizio per le API Socure **Status: Risolto Revisione: Su 15-Oct-2026, tra le 18:12 e le 19:00 Eastern time Socure ha sperimentato un'interruzione alle sue API RiskOS e ID\+, causando errori e timeout agli utenti. La prima fase corse dalle 18:12 alle 18:20, e fu una grande interruzione per praticamente ogni servizio. La seconda fase dell'outage è passata dalle 18:20 alle 19:00, ed è stato un parziale outage per i servizi che si basano sui dati KYC, dove i clienti hanno visto elevati tassi di errore e latenza per alcuni servizi, ma il traffico era ancora in servizio. Revisione: **Date / Time \(ET\)** | Event **18:12** | Un cambiamento di pulizia di routine viene unito, spostando un repo sorgente da un repository di codice all'altro. Un bug nel nostro strumento di revisione nasconde la portata del cambiamento. **18:13** | ArgoCD riavvia la maggior parte dei servizi in un cluster di Kubernetes più contemporaneamente. **18:20** | Tutti i pod di servizio sono in esecuzione. Servizio API parziale ripristinato, anche se i servizi KYC stanno ancora vedendo un tasso di errore elevato. **18:21** | L'alluvione del traffico di startup travolge il nostro servizio di ricerca KYC. I tassi di errore scorrono. **18:42** | SRE diagnostica il guasto di cascata che colpisce KYC Cerca e blocca il traffico ad esso in modo che possa venire. **18:56** | Il servizio di ricerca di KYC è completamente attivo, e SRE restituisce il traffico ad esso. I servizi a valle si stabilizzano. **19:00 | Tutto il traffico in esecuzione come normale, incidente dichiarato stabile. #### 3, Root Cause # ♪Primary Root Cause ♪ Come parte di una migrazione in corso, un SRE su chiamata ha fatto un cambiamento a ArgoCD, il sistema che usiamo per gestire i cluster di kubernetes Socure gestisce i suoi servizi. Il cambiamento è stato oggetto di un singolo cluster, è stato esaminato attentamente prima di spingere, non ha causato problemi in altri ambienti in cui è stato testato e non avrebbe dovuto avere alcun impatto visibile. Purtroppo, il cambiamento ha aggiornato un'impostazione legacy che non è apparso nella recensione di cambiamento. Quella impostazione legacy governava i servizi che ArgoCD ha gestito e rimosso molti servizi dal vivo da ArgoCD. Di conseguenza, ArgoCD ha rimosso questi servizi dalla produzione brevemente, prima che l'impostazione fosse corretta. *** Fattori di contributo: ** Il servizio KYC Search è un backend pezzo di infrastruttura Socure che fornisce servizi a diversi dei nostri prodotti interni. Quando quel servizio si riavviò da zero allo stesso tempo di tutti i clienti del servizio, un piccolo numero di baccelli nel servizio si schiantò sotto carico. Ciò ha aumentato il carico sui pod rimanenti, alcuni dei quali si sono schiantati a sua volta. Questo fallimento in fuga ha impedito al servizio di tornare da solo il resto dell’infrastruttura di Socure. La diagnosi di questa modalità di guasto separata ha richiesto un ulteriore tempo, e la correzione ha risolto gli errori rimanenti dopo l'incidente iniziale. Traduzione: Il cambiamento di ArgoCD è stato ripristinato immediatamente, causando servizi di tornare al loro stato precedente. Il servizio di ricerca KYC ha richiesto uno sforzo manuale per bloccare il traffico dal raggiungerlo fino a quando la maggior parte dei pod nel servizio potrebbe venire su. Dopo che il servizio era sano, potremmo ripristinare il traffico ad esso e risolvere l'incidente generale. ### **5. Azioni correttive e preventive** ### **6. Lezioni imparate # * Lo strumento di Socure per la visualizzazione delle modifiche apportate alla produzione non ha funzionato correttamente. Stiamo esaminando questi strumenti per garantire che essi operano correttamente in tutti i casi di utilizzo e risolvere qualsiasi caso come questo in cui la portata completa di un cambiamento non è chiara. * Aumentare il processo di revisione di cambiamento esistente con il supporto agentic. Mentre in questo caso, il cambiamento specifico non è stato visibile nel piano, avendo un recensore supplementare che è supportato da un ampio modello di formazione aiuterà a garantire problemi sono catturati prima della presentazione. * Anche i cambiamenti che sembrano non avere alcun impatto, quando sono fatti al sistema di governance per i nostri lavori di produzione, possono essere rischiosi, e dovrebbero essere spostati ulteriormente fuori dalle ore di lavoro degli Stati Uniti. * Il nostro servizio di ricerca KYC è vulnerabile a un problema “thundering-herd” quando riceve pieno flusso di traffico quando non è completamente online. Dobbiamo rafforzare i nostri interruttori per evitare che questo problema si ripeta. * Eseguiamo troppi servizi API di base in un unico cluster di kubernetes. Anche se questo cluster è distribuito in più zone di disponibilità, il piano di controllo condiviso crea un raggio di esplosione troppo alto per le modifiche a quel cluster. ### **7. Next Steps & Ongoing Commitment** Socure comprende che i nostri clienti si affidano a noi come fornitore chiave nei flussi aziendali critici, e che questa interruzione di servizio non è accettabile. Ci scusiamo per l'impatto che questo problema ha causato, e ci impegniamo a assicurarlo non si ripete. A tal fine, forniremo dettagli sui nostri piani di ri-architect il nostro layout di applicazione entro novembre, così come migliorare la resilienza del servizio KYC Search in Q1 del prossimo anno.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 15 ottobre 2026 alle ore 23:15 UTCresolved

   I servizi Socure RiskOS e ID+ sono stati ripristinati. Un errore in un rollout ha causato un picco temporaneo dei tassi di errore dai nostri servizi tra 18:12 e 18:56 ora orientale. L'errore è stato corretto e i servizi sono stabili ora. Sappiamo che questo outage è inaccettabile e un RCA completo sarà disponibile non appena l'analisi completa del problema è completa.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 15 ottobre 2026 alle ore 22:39 UTCinvestigating

   Stiamo vivendo un incidente attivo che sta influenzando la disponibilità del servizio. Stiamo attualmente indagando sul problema e fornirà aggiornamenti non appena abbiamo ulteriori informazioni.

2. 15 ottobre 2026 alle ore 23:04 UTCmonitoring

   I servizi Socure RiskOS e ID+ sono stati ripristinati. Un errore in un rollout ha causato un picco temporaneo dei tassi di errore dai nostri servizi tra 18:20 e 18:56 ora orientale. L'errore è stato corretto e i servizi sono stabili ora. Sappiamo che questo outage è inaccettabile e un RCA completo sarà disponibile non appena l'analisi completa del problema è completa.

3. 15 ottobre 2026 alle ore 23:04 UTCmonitoring

   I servizi Socure RiskOS e ID+ sono stati ripristinati. Un errore in un rollout ha causato un picco temporaneo dei tassi di errore dai nostri servizi tra 18:12 e 18:56 ora orientale. L'errore è stato corretto e i servizi sono stabili ora. Sappiamo che questo outage è inaccettabile e un RCA completo sarà disponibile non appena l'analisi completa del problema è completa.

4. 15 ottobre 2026 alle ore 23:08 UTCresolved

   I servizi Socure RiskOS e ID+ sono stati ripristinati. Un errore in un rollout ha causato un picco temporaneo dei tassi di errore dai nostri servizi tra 18:12 e 18:56 ora orientale. L'errore è stato corretto e i servizi sono stabili ora. Sappiamo che questo outage è inaccettabile e un RCA completo sarà disponibile non appena l'analisi completa del problema è completa.

5. 17 ottobre 2026 alle ore 01:30 UTCpostmortem

   ##Root Cause Analysis # **Incidente? Socure APIs Outage **Date Range: ** 15-Oct-2026 # Impatto # Interruzione in servizio per le API Socure **Status: Risolto Revisione: Su 15-Oct-2026, tra le 18:12 e le 19:00 Eastern time Socure ha sperimentato un'interruzione alle sue API RiskOS e ID\+, causando errori e timeout agli utenti. La prima fase corse dalle 18:12 alle 18:20, e fu una grande interruzione per praticamente ogni servizio. La seconda fase dell'outage è passata dalle 18:20 alle 19:00, ed è stato un parziale outage per i servizi che si basano sui dati KYC, dove i clienti hanno visto elevati tassi di errore e latenza per alcuni servizi, ma il traffico era ancora in servizio. Revisione: **Date / Time \(ET\)** | Event **18:12** | Un cambiamento di pulizia di routine viene unito, spostando un repo sorgente da un repository di codice all'altro. Un bug nel nostro strumento di revisione nasconde la portata del cambiamento. **18:13** | ArgoCD riavvia la maggior parte dei servizi in un cluster di Kubernetes più contemporaneamente. **18:20** | Tutti i pod di servizio sono in esecuzione. Servizio API parziale ripristinato, anche se i servizi KYC stanno ancora vedendo un tasso di errore elevato. **18:21** | L'alluvione del traffico di startup travolge il nostro servizio di ricerca KYC. I tassi di errore scorrono. **18:42** | SRE diagnostica il guasto di cascata che colpisce KYC Cerca e blocca il traffico ad esso in modo che possa venire. **18:56** | Il servizio di ricerca di KYC è completamente attivo, e SRE restituisce il traffico ad esso. I servizi a valle si stabilizzano. **19:00 | Tutto il traffico in esecuzione come normale, incidente dichiarato stabile. #### 3, Root Cause # ♪Primary Root Cause ♪ Come parte di una migrazione in corso, un SRE su chiamata ha fatto un cambiamento a ArgoCD, il sistema che usiamo per gestire i cluster di kubernetes Socure gestisce i suoi servizi. Il cambiamento è stato oggetto di un singolo cluster, è stato esaminato attentamente prima di spingere, non ha causato problemi in altri ambienti in cui è stato testato e non avrebbe dovuto avere alcun impatto visibile. Purtroppo, il cambiamento ha aggiornato un'impostazione legacy che non è apparso nella recensione di cambiamento. Quella impostazione legacy governava i servizi che ArgoCD ha gestito e rimosso molti servizi dal vivo da ArgoCD. Di conseguenza, ArgoCD ha rimosso questi servizi dalla produzione brevemente, prima che l'impostazione fosse corretta. *** Fattori di contributo: ** Il servizio KYC Search è un backend pezzo di infrastruttura Socure che fornisce servizi a diversi dei nostri prodotti interni. Quando quel servizio si riavviò da zero allo stesso tempo di tutti i clienti del servizio, un piccolo numero di baccelli nel servizio si schiantò sotto carico. Ciò ha aumentato il carico sui pod rimanenti, alcuni dei quali si sono schiantati a sua volta. Questo fallimento in fuga ha impedito al servizio di tornare da solo il resto dell’infrastruttura di Socure. La diagnosi di questa modalità di guasto separata ha richiesto un ulteriore tempo, e la correzione ha risolto gli errori rimanenti dopo l'incidente iniziale. Traduzione: Il cambiamento di ArgoCD è stato ripristinato immediatamente, causando servizi di tornare al loro stato precedente. Il servizio di ricerca KYC ha richiesto uno sforzo manuale per bloccare il traffico dal raggiungerlo fino a quando la maggior parte dei pod nel servizio potrebbe venire su. Dopo che il servizio era sano, potremmo ripristinare il traffico ad esso e risolvere l'incidente generale. ### **5. Azioni correttive e preventive** ### **6. Lezioni imparate # * Lo strumento di Socure per la visualizzazione delle modifiche apportate alla produzione non ha funzionato correttamente. Stiamo esaminando questi strumenti per garantire che essi operano correttamente in tutti i casi di utilizzo e risolvere qualsiasi caso come questo in cui la portata completa di un cambiamento non è chiara. * Aumentare il processo di revisione di cambiamento esistente con il supporto agentic. Mentre in questo caso, il cambiamento specifico non è stato visibile nel piano, avendo un recensore supplementare che è supportato da un ampio modello di formazione aiuterà a garantire problemi sono catturati prima della presentazione. * Anche i cambiamenti che sembrano non avere alcun impatto, quando sono fatti al sistema di governance per i nostri lavori di produzione, possono essere rischiosi, e dovrebbero essere spostati ulteriormente fuori dalle ore di lavoro degli Stati Uniti. * Il nostro servizio di ricerca KYC è vulnerabile a un problema “thundering-herd” quando riceve pieno flusso di traffico quando non è completamente online. Dobbiamo rafforzare i nostri interruttori per evitare che questo problema si ripeta. * Eseguiamo troppi servizi API di base in un unico cluster di kubernetes. Anche se questo cluster è distribuito in più zone di disponibilità, il piano di controllo condiviso crea un raggio di esplosione troppo alto per le modifiche a quel cluster. ### **7. Next Steps & Ongoing Commitment** Socure comprende che i nostri clienti si affidano a noi come fornitore chiave nei flussi aziendali critici, e che questa interruzione di servizio non è accettabile. Ci scusiamo per l'impatto che questo problema ha causato, e ci impegniamo a assicurarlo non si ripete. A tal fine, forniremo dettagli sui nostri piani di ri-architect il nostro layout di applicazione entro novembre, così come migliorare la resilienza del servizio KYC Search in Q1 del prossimo anno.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 15 ottobre 2026 alle ore 14:52 UTCidentified

   Attualmente stiamo sperimentando un outage non pianificato che interessa il modulo eCBSV a causa di risposte SSA, con conseguente errori 5xx. Socure ha contattato il venditore per indagare il problema e determinare quando il servizio dovrebbe essere ripristinato.

2. 15 ottobre 2026 alle ore 14:55 UTCmonitoring

   I tassi di errore sono diminuiti negli ultimi minuti. Stiamo monitorando questi tassi, e in attesa della nostra risposta del fornitore.

3. 15 ottobre 2026 alle ore 15:59 UTCresolved

   SSA ha sperimentato un evento di ottimizzazione dei servizi che ha interessato più applicazioni e servizi, tra cui il servizio Electronic Consent Based Social Security Number Verification (eCBSV). La disgregazione iniziò a circa 10:19AM (ET) il 15 ottobre 2026, e fu risolta a circa 10:41AM (ET). Il servizio è stato ripristinato e la BCESV opera normalmente in questo momento.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 9 ottobre 2026 alle ore 23:25 UTCresolved

   Abbiamo sperimentato elevati guasti delle transazioni che interessano Watchlist Plus e Watchlist Premier. Il problema è stato risolto e stiamo monitorando le prestazioni per garantire che i servizi rimangano stabili. Ci scusiamo per qualsiasi inconveniente che possa aver causato.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 22 settembre 2026 alle ore 12:26 UTCidentified

   Stiamo indagando su un problema che causa ritardi nei casi in cui gli aggiornamenti si riflettono nell'interfaccia utente della gestione dei casi RiskOS. Il nostro team di Ingegneria sta attivamente lavorando per identificare la causa principale e ripristinare il normale comportamento di aggiornamento. Forniremo ulteriori aggiornamenti in quanto ulteriori informazioni diventano disponibili. Questo non influisce sulle richieste di valutazione API.

2. 22 settembre 2026 alle ore 13:22 UTCmonitoring

   Abbiamo identificato la causa principale del problema che interessa gli aggiornamenti nell'interfaccia utente di RiskOS Case Management. Questo problema è limitato a un sottoinsieme di casi e riguarda specificamente la funzionalità di Case Search, che può mostrare temporaneamente stati di caso obsoleti. Si prega di notare che i dati di stato del caso visualizzati all'interno dell'elenco dei casi e le singole pagine di Case Details sono accurate e riflettono lo stato più recente. Il nostro team di Ingegneria ha implementato una correzione per tutti i nuovi casi aggiornati e sta lavorando attivamente per ri-sincronare i restanti casi interessati per garantire la coerenza dei dati attraverso la ricerca. Forneremo un altro aggiornamento una volta che il comportamento normale è completamente ripristinato.

3. 22 settembre 2026 alle ore 14:09 UTCresolved

   Il problema che riguarda gli aggiornamenti di stato del caso è stato risolto. Tutti i nuovi casi vengono elaborati correttamente. Ci scusiamo sinceramente per qualsiasi inconveniente che questo potrebbe aver causato e apprezzare la vostra pazienza mentre il nostro team ha lavorato per risolverlo.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 21 settembre 2026 alle ore 11:57 UTCresolved

   Tra le 6:28 AM e le 6:57 AM ET il 21 settembre, un problema durante un'attività operativa ha causato alcune notifiche webhook associate a valutazioni più vecchie dal mese scorso per essere consegnato di nuovo. Le valutazioni attuali e l'elaborazione webhook non sono state influenzate. Il problema è stato risolto. Ci scusiamo per qualsiasi confusione o rumore aggiuntivo che questo potrebbe aver causato.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 16 settembre 2026 alle ore 14:36 UTCinvestigating

   Stiamo indagando ritardi che riguardano l'elaborazione di lotti sul cruscotto. I clienti possono sperimentare l'elaborazione ritardata durante la revisione del problema.

2. 16 settembre 2026 alle ore 14:49 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 16 settembre 2026 alle ore 09:39 UTCidentified

   Stiamo osservando una maggiore latenza che colpisce alcuni clienti che utilizzano i nostri prodotti Fraud e Synthetic. Il nostro team sta indagando attivamente sul problema. Le richieste API stanno completando con successo, e non stiamo osservando eventuali errori API in questo momento. Forniremo ulteriori aggiornamenti in quanto ulteriori informazioni diventano disponibili.

2. 16 settembre 2026 alle ore 10:07 UTCmonitoring

   Stiamo vedendo un miglioramento della latenza che colpisce alcuni clienti che utilizzano i nostri prodotti Fraud e Synthetic. Continueremo a monitorare attentamente la situazione.

3. 16 settembre 2026 alle ore 10:12 UTCresolved

   Il problema che colpisce i servizi Fraud e sintetici è stato risolto, e il servizio è tornato al normale funzionamento. I clienti non dovrebbero più sperimentare una maggiore latenza o ritardi nell'accesso ai servizi di frode e sintetici

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 10 settembre 2026 alle ore 19:39 UTCresolved

   Tra le 8:30 e le 2:00 PM EST, abbiamo osservato un aumento dei tassi di errore 5xx, che ha causato errori intermittenti o richieste fallite per alcuni clienti. L'impatto complessivo è stato minimo, meno dello 0,01%. Il tasso di errore è tornato alla normalità. Questo problema è pienamente risolto in questo momento. Ci scusiamo per qualsiasi disturbo e apprezziamo la vostra pazienza.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 9 settembre 2026 alle ore 11:37 UTCresolved

   Tra le 7:00 AM e le 7:20 AM EST, abbiamo osservato un aumento dei tassi di errore 5xx, che potrebbero aver causato errori intermittenti o richieste fallite per alcuni clienti. Il tasso di errore è tornato alla normalità, e stiamo indagando sulla causa principale per garantire che abbiamo completamente risolto il problema. Ci scusiamo per qualsiasi disturbo e apprezziamo la vostra pazienza.

2. 15 settembre 2026 alle ore 18:15 UTCpostmortem

   #Root Cause Analysis # **Incidente? Intermittent ha elevato 5xx errori nei servizi **Date Range:** 9 settembre 2026, 7:00 AM – 9:20 AM EDT \(circa 2 ore 20 minuti di impatto intermittente\) # Impatto # Alcune richieste inviate all'API di EmailAuthScore e ai relativi servizi, risposte di errore rese intermittenti. L'impatto era intermittente piuttosto che continuo ed era limitato a finestre definite descritte nella linea temporale sottostante. **Status: Risolto Revisione: Il 9 settembre 2026, un aumento previsto della capacità di elaborazione backend ha portato ad un elevato carico di connessione su un componente interno di infrastruttura utilizzato per supportare l'elaborazione a valle per diversi servizi. Questo componente ha raggiunto una soglia di capacità interna, che ha introdotto ritardi di elaborazione e ha portato a risposte di errore intermittenti sull'API EmailAuthScore e servizi correlati per un sottoinsieme di richieste. Il problema è stato identificato attraverso una combinazione di monitoraggio interno e rapporti durante la finestra di impatto. L'ingegneria socure ha correlato gli errori con il recente cambiamento di capacità e l'ha deviato, che ha fermato l'aumento iniziale di errori. Un secondo, relativo aumento degli errori poi si è verificato quando un cambiamento di capacità separato, fatto prima per un servizio interno diverso, ha posto il carico supplementare sullo stesso componente condiviso; l'ingegneria ha applicato ulteriori mitigazioni, dopo di che tutti i servizi interessati sono tornati al normale, funzionamento stabile. La sezione 5 delinea le azioni correttive e preventive a cui Socure si impegna, con la priorità, a migliorare la visibilità nella capacità delle infrastrutture e a prevenire ritardi in qualsiasi singolo componente interno che incidano sul trattamento delle richieste da parte del cliente. Revisione: Traduzione: | --- | | ** settembre 9, 2026 07:00 AM** | A seguito di un aumento pianificato della capacità di elaborazione backend, l'API di EmailAuthScore ha iniziato a reinserire intermittentemente le risposte di errore. # ♫ settembre 9, 2026 07:20 ** | Il recente cambiamento di capacità è stato reindirizzato; i tassi di errore sono tornati alla normalità. | ** settembre 9, 2026 08:45 AM** | Un cambiamento di capacità separato fatto prima per un servizio interno diverso ha posizionato un carico aggiuntivo sullo stesso componente interno condiviso, e l'API di EmailAuthScore ha ricominciato intermittentemente le risposte di errore di ritorno. # | ** settembre 9, 2026 09:20 AM** | Sono state applicate ulteriori mitigazioni; i tassi di errore sono tornati alla normalità e sono rimasti stabili. | ** settembre 9, 2026 01:13 PM** | Come precauzione, Socure ha temporaneamente reindirizzato una parte del trattamento interno lontano dalla componente interna interessata per completare in modo sicuro l'aumento di capacità rimanente. Non sono stati osservati ulteriori errori dopo questo cambiamento. | #### 3, Root Cause # ♪Primary Root Cause ♪ Nell'ambito del lavoro previsto per aumentare la capacità di sistema prima della domanda prevista, Socure ha aumentato la capacità di elaborazione dei servizi di backend. Questa modifica ha aumentato il numero di connessioni a un componente di messaggistica interna utilizzato per supportare l'elaborazione a valle per questi servizi. Tale componente ha raggiunto un limite di capacità di connessione interna, che ha comportato ritardi di connessione e di elaborazione. Questi ritardi hanno introdotto latenza aggiuntiva e, in alcuni casi, la backpressure nell'elaborazione delle richieste, che hanno contribuito a tassi di errore elevati intermittenti sull'API EmailAuthScore e servizi correlati per un sottoinsieme di richieste durante le finestre di impatto sopra descritte. *** Fattori di contributo: ** * Un improvviso aumento della domanda di capacità infrastrutturale ha superato la capacità che non era immediatamente disponibile all'interno del componente di messaggistica interna. Traduzione: Dopo aver identificato che i tassi di errore elevati sono stati collegati al recente cambiamento di capacità, Socure ingegneria ha cambiato il cambiamento, che ha fermato l'aumento iniziale di errori. Un secondo, relativo aumento di errori poi si è verificato quando un cambiamento di capacità separato, fatto prima per un servizio interno diverso, posto carico aggiuntivo sullo stesso componente condiviso. Ingegneria ha applicato ulteriori mitigazioni, tra cui temporaneamente reindirizzare una parte di elaborazione interna lontano dal componente interessato per i servizi colpiti. A seguito di queste azioni, tutti i servizi interessati sono tornati al normale, funzionamento stabile, che Socure ha confermato attraverso il monitoraggio continuato. ### **5. Azioni correttive e preventive** Revisione: | --- | --- | Ottimizzare l'utilizzo della capacità di infrastruttura | Capacità di backend e utilizzo della connessione regolata per garantire che il trattamento rimanga entro limiti di infrastruttura supportati e ridurre il rischio di problemi legati alla capacità simili. | Fatto | Aumenta la capacità dell'infrastruttura di messaggistica | Aumenta la capacità dell'infrastruttura di messaggistica sottostante per fornire ulteriori headroom e sostenere gli aumenti futuri del volume del traffico. | Fatto | Migliorare il monitoraggio delle capacità e l'avviso | Aggiungi un monitoraggio proattivo e avvisi per identificare potenziali vincoli di capacità delle infrastrutture prima di influenzare le prestazioni dei servizi. # In corso. ETA 30 set 2026. | ### **6. Lezioni imparate # * Il monitoraggio proattivo della salute delle infrastrutture deve essere in vigore prima dei cambiamenti di capacità, non solo il monitoraggio a livello di applicazione. ### **7. Next Steps & Ongoing Commitment** Ci impegniamo a: * Completare le azioni correttive e preventive elencate nella sezione 5. * Migliorare la visibilità nella salute e nella capacità dell'infrastruttura interna critica prima della futura attività di scaling. * Fornire un aggiornamento di follow-up una volta che tutte le azioni correttive sono complete.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 8 settembre 2026 alle ore 14:54 UTCinvestigating

   Stiamo attualmente indagando su un problema che ha creato un impatto sui servizi di monitoraggio DocV e Watchlist dove gli errori sono stati osservati oggi 8 settembre, dalle 09:05 EST alle 09:30 AM EST. Il sistema ha recuperato, stiamo lavorando per determinare una causa radice in questo momento.

2. 8 settembre 2026 alle ore 15:41 UTCresolved

   Il problema che colpisce DocV e Watchlist servizi di monitoraggio l'8 settembre è stato risolto. Nessun impatto del cliente è stato osservato dalle 10:35 AM EST. Ci scusiamo per qualsiasi disturbo che possa aver causato.

3. 17 settembre 2026 alle ore 19:47 UTCpostmortem

   Traduzione: **Incident:** Interruzione di servizio Affecting Account Accesso dati **Date Range:** 8 settembre 2026 \(10:04 AM alle 10:31 AM EDT\) **Impatto:** Monitor DocV e Watchlist **Status: Risolto ### 1. Sommario Un imprevisto esaurimento della capacità di backend del database ha temporaneamente impedito alla nostra piattaforma di recuperare le informazioni del conto per un sottoinsieme delle richieste del cliente. Durante la finestra incidente \(10:04 AM a 10:31 AM EDT di 8-Sep-2026\), alcune delle richieste del cliente hanno riscontrato tassi di errore elevati durante il tentativo di query dettagli dell'account. A seguito di un aggiornamento di manutenzione di routine, le connessioni concorrenti da ambienti di backup superavano le normali soglie, saturando la capacità del database disponibile. I team di ingegneria scollegarono in modo sicuro gli ambienti ridondanti e aggiornarono le connessioni attive, ripristinando la piena reattività del sistema e la stabilità. ## 2. Timeline Traduzione: | --- | | Primo errore | 10:04 AM EST, 8 set 2026 | | Incident ha riferito | 10:17 AM EST, 8 Sep 2026 | | Piscina di collegamento ambientale ridondante isolata | 10:30 AM EST, 8 set 2026 | | Incident risolto | 10:31 AM EST, 8 set 2026 | ## 3. Causa radice ♪Primary Root Cause ♪ Durante un aggiornamento programmato del sistema, elevata ritenzione di connessione tra gli ambienti di distribuzione ha portato alla saturazione del pool di connessione del database. Sotto il traffico di punta, questo ha causato ritardi di elaborazione e richiedere timeout per i servizi di piattaforma dipendenti. *** Fattori di contributo: ** * I parametri di timeout di connessione rigidi hanno ritardato il rilascio tempestivo delle allocazioni di database idle da ambiente passivo. * Inadeguato database nodo headroom ha ostacolato l'elaborazione senza soluzione di continuità di connessioni extra generate dall'ambiente standby. # Fattori non contributivi # * Nessuno ## 4. Risoluzione L'integrità del servizio completo è stata ripristinata attraverso le seguenti azioni immediate: 1. Isolare connessioni ambientali non attive per la capacità immediatamente gratuita del pool di database. 2. Eseguire un rolling reset di nodi di servizio attivo per ristabilire basi di connessione di database chiare. ## 5. Azioni correttive e preventive Revisione: | --- | --- Miglioramento dei modelli di accesso ai dati | Migliorare la strategia di cache e i modelli di accesso ai dati nei servizi interni che si basano sui dati degli account. | 15 ott 2026 | | Gestione della connessione automatizzata | Migliorare la gestione del ciclo di vita della connessione e le routine di pulizia automatizzate per le attività di sfondo inattive. | 15 ott 2026 | ## 6. Lezioni imparate ♪Enhancing Deployment Isolation ♪ Stiamo aggiornando le nostre procedure di distribuzione per garantire la completa separazione delle risorse in ambienti attivi e passivi, eliminando la contention delle risorse cross-environment durante gli aggiornamenti. * **Ottimizzare l'allocation delle risorse del database:** Per garantire le prestazioni di punta, stiamo riequilibrando il nostro carico di lavoro e aumentando la capacità e l'efficienza del sistema generale. ## 7. Prossimo passo e impegno in corso Ci impegniamo a: * Risolvere le cause radice identificate dalle linee temporali condivise * Implementare protezioni di sicurezza proattive e soglie di monitoraggio, mentre applicazioni permanenti e miglioramenti delle infrastrutture sono finalizzati.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 2 settembre 2026 alle ore 18:31 UTCidentified

   Il nostro Vendor, SSA, ha segnalato che c'è attualmente un elevato problema di latenza che riguarda il modulo eCBSV. Di conseguenza, si può sperimentare elevati tempi di risposta. Il nostro team sta lavorando attivamente con loro per risolvere il problema il più rapidamente possibile. Ci scusiamo per qualsiasi inconveniente questo può causare e apprezzare la vostra pazienza e comprensione.

2. 3 settembre 2026 alle ore 15:18 UTCresolved

   SSA ha risolto la latenza elevata che interessa il modulo eCBSV a partire dalle ore 2:00 AM ET. I tempi di risposta sono tornati alla normalità. Grazie per la vostra pazienza e comprensione.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 10 agosto 2026 alle ore 15:40 UTCinvestigating

   We are investigating a slight degradation on the Watchlist product due to latency. Affecting both ID+ and RiskOS. The team is actively investigating this issue at this time.

2. 10 agosto 2026 alle ore 15:40 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 10 agosto 2026 alle ore 15:52 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 10 agosto 2026 alle ore 16:02 UTCresolved

   This incident has been resolved.

1. 4 agosto 2026 alle ore 07:01 UTCresolved

   Between 1:21 AM and 2:15 AM EDT on August 4, 2026, a subset of DocV webhook delivery notifications experienced elevated 401 response rates. The issue is fully resolved and webhook delivery is now operating normally. A full Root Cause Analysis (RCA) will be shared once the investigation concludes.