57 Alloy incidents · luglio 2024 — official updates, affected components, duration and resolution details.
La funzionalità delle esportazioni ha sperimentato le prestazioni degradate durante questa settimana; stiamo indagando sul problema. Stiamo attualmente indagando su questo problema.
Abbiamo identificato il problema, implementato una correzione, e le prestazioni di elaborazione delle esportazioni confermate sono tornate a livelli normali.
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.
Tra le 12:45 e le 13:20 PM ET il 27 agosto, un fornitore di dati di terze parti Threatmetrix ha sperimentato un disturbo di servizio che ha causato errori di connessione intermittenti sui controlli di intelligenza dei dispositivi. Durante questa finestra, alcune valutazioni che utilizzano il servizio impatto completato come parziale piuttosto che restituire una risposta completa del fornitore, e alcune richieste hanno visto tempi di latenza elevati o tempi di connessione. Il provider ha confermato che il problema sottostante è risolto, e i tassi di errore tornati alla normalità di 1:20 PM ET. Le valutazioni presentate al di fuori di questa finestra non sono state influenzate.
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.
La nostra automazione ha rilevato le prestazioni degradate dei componenti Dashboard, Production API e Sandbox API. Stiamo attualmente indagando su questo problema.
Le prestazioni sono state ripristinate, tutti i componenti sono operativi.
Il problema è stato completamente risolto. I tassi di errore elevati sono stati osservati il 25 agosto tra 14:18 e 14:22 PM ET e tra 14:29 e 14:35 PM ET
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.
Abbiamo rilevato problemi con il nostro provider di formattazione degli indirizzi. La decisione continua a funzionare, ma l'indirizzo fornito crudo verrà inviato ai servizi a valle, che possono causare alcuni falsi negativi. Siamo attualmente in contatto con il venditore e si aggiornerà non appena ne sapremo di più.
Questo incidente è stato risolto.
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.
Alcuni clienti stanno vivendo tassi di errore elevati per la nostra API di viaggio. Stiamo indagando sull'impatto, e stiamo lavorando sulla bonifica.
Abbiamo spinto un fisso che ha risolto la maggior parte delle questioni, stiamo monitorando
Il problema è stato risolto e il nostro team è ancora in fase di monitoraggio. Abbiamo anche confermato che questo caso ha avuto un impatto sul nostro cruscotto, e che il relativo impatto è stato affrontato anche.
Il traffico dal vivo è stato completamente restaurato e il problema sottostante è stato risolto. Stiamo continuando ad affrontare latenza residua che interessa l'indicizzazione del cruscotto per le richieste presentate durante il periodo di incidente, e il team sta attivamente lavorando verso il pieno recupero.
Il problema che riguarda l'API Viaggi è stato completamente risolto, e il servizio è tornato alla normalità. Abbiamo completato il monitoraggio e confermato che la relativa funzionalità del cruscotto ha anche recuperato a partire dal 21 luglio 2026 alle 17:11 PM ET. Grazie per la vostra pazienza mentre abbiamo lavorato per ripristinare il servizio.
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.
Stiamo attualmente indagando i rapporti di problemi di login e Application Queues non visualizza per alcuni clienti. Il nostro team sta lavorando attivamente per identificare la causa e fornirà un altro aggiornamento non appena ulteriori informazioni sono disponibili.
Abbiamo confermato che la funzionalità di login e Application Queues sono tornati al normale funzionamento, e non viene osservato alcun ulteriore impatto. Grazie per la vostra pazienza mentre abbiamo lavorato per risolvere questo problema.
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.
Il nostro monitoraggio ha rilevato guasti elevati per i servizi LexisNexis, e il nostro team di ingegneria sta attivamente indagando. Forniremo un aggiornamento non appena saranno disponibili ulteriori informazioni.
Abbiamo confermato che i tassi di errore elevati sono dovuti a un'estrazione che interessa i servizi LexisNexis. I seguenti servizi sono attualmente confermati: InstantID Rispetto del mondo RiskView LexisNexis Fraud Intelligence 2 Accurinto InstantIDQA Ricerca migliorata per persona Abbiamo contattato LexisNexis e stiamo aspettando un aggiornamento sulla loro timeline stimata per il ripristino dei servizi. Continueremo a monitorare la situazione e fornire aggiornamenti come riceviamo ulteriori informazioni.
Stiamo vedendo la diminuzione dei tassi di errore nei servizi LexisNexis. Inoltre, la pagina di stato LexisNexis, precedentemente inaccessibile durante l'incidente, è ora disponibile di nuovo - https://status.lexisnexisrisk.com/. Continueremo a monitorare attentamente le prestazioni e fornirà un altro aggiornamento una volta confermato che i tassi di errore sono completamente tornati alla normalità.
Stiamo continuando a vedere il recupero attraverso i servizi LexisNexis colpiti, con la maggior parte dei servizi ora operativi normalmente. Stiamo ancora osservando i tassi di errore elevati per RiskView e InstantVerify International e stiamo continuando a monitorare questi servizi da vicino. Forniamo un altro aggiornamento una volta che abbiamo confermato che tutti i servizi sono completamente recuperati.
Abbiamo visto il recupero attraverso i servizi LexisNexis e i tassi di errore sono tornati ai livelli previsti. Questo incidente è ora considerato risolto. Continueremo a lavorare con il team di LexisNexis per ottenere un Root Cause Analysis (RCA). Se desideri ricevere una copia della RCA quando diventa disponibile, contatta [email protected].
Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
We are currently investigating a spike in 500 errors affecting dashboard loading for some users . Our team is actively working to identify the root cause and mitigate the issue. We also observed a brief increase in API errors during this period, but API performance is now operating as expected.
We are seeing recovery in dashboard performance with error rates returning toward normal levels. We are closely monitoring the platform to ensure stability is fully restored.
After further montioring, we have not observed any new errors. All systems are operating normally.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
Service has returned to normal operation as of 3:36 PM ET, and our monitoring confirms that API performance is stable. We will continue to monitor closely to ensure ongoing reliability. We apologize for any disruption this may have caused and appreciate your patience while we worked to resolve the issue.
Starting at 9:17 AM ET, the homepage analytics dashboards were not loading as expected. All other dashboard pages and services remained fully operational. As of 11:47 AM ET, the system has recovered and is fully operational.
We're currently investigating a period of latency and intermittent API unavailability that occurred between 11 and 11:15 ET.
We believe the cause of the latency is resolved.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
The impact is limited to a subset of test suite endpoints used by the dashboard, our production apis were not impacted.
The issue has been resolved.
We recently identified and resolved an issue affecting some plugins initialized through the Alloy SDK. For a subset of SDK Plugins, applications initializing the SDK may have experienced unexpected behavior, which could present as UI instability or premature close events. We mitigated the issue by rolling back a recent SDK change. Following the rollback, normal plugin behavior was restored. If you continue to experience any issues, please contact Alloy Support.
Between March 4 at 11:00 PM ET and March 5 at 10:07 AM ET, we experienced an elevated rate of memory-related errors impacting evaluations running through JQ input attributes. As a result, some evaluations returned a null value for the input attribute instead of the correct value, potentially interrupting decisioning in the Workflow. Impacted applications would need to be re-run. Only workflows using input attributes with JQ were impacted; other Workflow logic was not impacted. The issue has been identified and resolved, and all systems are now operating normally.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
API functionality has been fully restored. We are continuing to investigate the impact and look into root causes.
We are currently experiencing delays in realtime webhook processing. The root cause has been identified and we are applying mitigation measures. We are now monitoring recovery as the processing queue returns to normal levels. Webhook events continue to be accepted; however, processing and delivery responses may be delayed until the existing backlog has been fully cleared.
Realtime webhook processing has been fully restored. All new webhook events are now completing in realtime as expected. During the incident, webhook events generated between 2:24 PM - 4:38 PM ET and 5:42 - 5:45 ET were not successfully processed and were permanently lost. Webhooks generated outside of this time window were not impacted. This issue affects applications that are stuck at a Journey step dependent on an Alloy webhook response to proceed (for example, action nodes), as well as applications that completed with a Manual Review outcome but are not reflecting back in core after review. Applications submitted during the affected window that are currently blocked due to a missing webhook dependency will need to be replayed. We recommend resubmitting those applications via API. Re-running an application will leverage cached data by default and will not trigger new calls to external data vendors. A thorough postmortem will be completed a Root Cause Analysis (RCA) can be shared with customers - please email [email protected] if you would like to receive the RCA. We are also investing in further improvements to the reliability and resiliency of our webhook queueing mechanism in the future to prevent event loss in the future.
Realtime webhook processing has been fully restored, and has maintained stability after monitoring. All new webhook events are now completing in realtime as expected. To further strengthen system stability, the engineering team has deployed an additional mitigation to prevent webhook queue backlogging under similar spike conditions. A thorough postmortem will be completed a Root Cause Analysis (RCA) can be shared with customers - please email [email protected] if you would like to receive the RCA. We are also investing in further improvements to the reliability and resiliency of our webhook queueing mechanism in the future to prevent event loss in the future. Please note, action is required to ensure applications process: During the incident, webhook events generated between 2:24 PM - 4:38 PM ET and 5:42 - 5:45 ET were not successfully processed and were permanently lost. Webhooks generated outside of this time window were not impacted. This issue affects applications that are stuck at a Journey step dependent on an Alloy webhook response to proceed (for example, action nodes), as well as applications that completed with a Manual Review outcome but are not reflecting back in core after review. Applications submitted during the affected window that are currently blocked due to a missing webhook dependency will need to be replayed. We recommend resubmitting those applications via API. Re-running an application will leverage cached data by default and will not trigger new calls to external data vendors.
We are currently investigating reports of elevated response times that affect both the Alloy Dashboard and API. Some customers may experience slower load times for the dashboard and longer response times for the API. Our engineering team is actively investigating.
The root cause has been identified. Response times for the Dashboard and API have returned to normal levels since 3:46 PM ET.
Between 11:20 AM and 12:04 PM ET, some workflows returned a 500 error when attempting to save a new version. Existing workflow versions and decisioning on existing workflow versions were not impacted. Once the root cause was identified as a previous code change, the issue was resolved at 12:04 PM ET when the affected change was rolled back, and all functionality related to workflow version saving was fully restored.
We are currently investigating an issue where Journey Analytics pages, Investigation detail pages, Fraud Attack Radar, and some Evaluation detail pages may not be loading data as expected. The issue is intermittent, and not all pages are impacted. Decisioning is not impacted. Journey Applications and Evaluations are completing successfully.
Our team continues to investigate the issue. At this time, there is no new information to share, but we are actively working to identify the root cause and will share updates as soon as possible.
We are still investigating this issue and will provide another update as soon as more information is available.
A fix has been implemented and all systems are operational.
We are currently investigating an issue where Journey Analytics pages, Investigation detail pages, Fraud Attack Radar, and some Evaluation detail pages may not be loading data as expected. The issue is intermittent, and not all pages are impacted. Decisioning is not impacted. Journey Applications and Evaluations are completing successfully.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.