57 Alloy incidents · Juli 2024 — official updates, affected components, duration and resolution details.
Die Exportfunktionalität hat in dieser Woche eine verschlechterte Leistung erfahren; wir untersuchen das Problem. Wir untersuchen derzeit dieses Problem.
Wir haben das Problem identifiziert, einen Fix bereitgestellt und bestätigt, dass die Exportverarbeitungsleistung wieder auf ein normales Niveau zurückgekehrt ist.
Automatisch aus der offiziellen Störungsmeldung übersetzt.
Zwischen 12:45 Uhr und 13:20 Uhr ET am 27. August erlebte ein Drittdatenanbieter Threatmetrix eine Serviceunterbrechung, die zu intermittierenden Verbindungsfehlern bei Geräteintelligenzprüfungen führte. Während dieses fensters wurden einige auswertungen, die den betroffenen dienst verwenden, als teilweise abgeschlossen, anstatt eine vollständige antwort des anbieters zurückzugeben, und einige anfragen sahen erhöhte latenz oder connecter-timeouts. Der Anbieter hat bestätigt, dass das zugrunde liegende Problem behoben ist und die Fehlerquoten um 1:20 Uhr ET wieder normal sind. Bewertungen, die außerhalb dieses Fensters eingereicht wurden, waren nicht betroffen.
Automatisch aus der offiziellen Störungsmeldung übersetzt.
Unsere Automatisierung erkannte eine beeinträchtigte Leistung von Dashboard-, Produktions-API- und Sandbox-API-Komponenten. Wir untersuchen derzeit dieses Problem.
Die Leistung wurde wiederhergestellt, alle Komponenten sind funktionsfähig.
Das Problem ist vollständig gelöst. Erhöhte Fehlerraten wurden am 25. August zwischen 14:18 und 14:22 Uhr ET und zwischen 14:29 und 14:35 Uhr ET beobachtet
Automatisch aus der offiziellen Störungsmeldung übersetzt.
Wir haben Probleme mit unserem Adressformatierungsanbieter festgestellt. Die Entscheidungsfindung läuft weiter, aber die von Rohdaten bereitgestellte Adresse wird an nachgelagerte Dienste gesendet, was zu einigen falschen Negativen führen kann. Wir sind derzeit in Kontakt mit dem Anbieter und werden aktualisieren, sobald wir mehr wissen.
Dieser Vorfall wurde behoben.
Automatisch aus der offiziellen Störungsmeldung übersetzt.
Einige Kunden erleben erhöhte Fehlerquoten für unsere Journeys API. Wir untersuchen die Auswirkungen jetzt und arbeiten an der Sanierung.
Wir haben einen Fix vorangetrieben, der die Mehrheit der Probleme gelöst hat, die wir derzeit überwachen
Das Problem ist nun gelöst, und unser Team überwacht derzeit noch. Wir haben auch bestätigt, dass dieser Fall unser Dashboard beeinflusst hat und dass die damit verbundenen Auswirkungen ebenfalls angesprochen wurden.
Der Live-Verkehr wurde vollständig wiederhergestellt und das zugrunde liegende Problem wurde behoben. Wir befassen uns weiterhin mit der Restlatenz, die sich auf die Indexierung von Dashboards für Anfragen auswirkt, die während des Vorfallszeitraums eingereicht wurden, und das Team arbeitet aktiv an einer vollständigen Wiederherstellung.
Das Problem, das die Journeys API betrifft, wurde vollständig behoben und der Service hat sich wieder normalisiert. Wir haben die Überwachung abgeschlossen und bestätigt, dass die damit verbundene Dashboard-Funktionalität ebenfalls zum 21. Juli 2026 um 17:11 Uhr ET wiederhergestellt wurde. Vielen Dank für Ihre Geduld, während wir daran gearbeitet haben, den Service wiederherzustellen.
Automatisch aus der offiziellen Störungsmeldung übersetzt.
Wir untersuchen derzeit Berichte über Anmeldeprobleme und Anwendungswarteschlangen, die für einige Kunden nicht angezeigt werden. Unser Team arbeitet aktiv daran, die Ursache zu identifizieren und wird ein weiteres Update bereitstellen, sobald weitere Informationen verfügbar sind.
Wir haben bestätigt, dass die Anmeldefunktionalität und Anwendungswarteschlangen in den normalen Betrieb zurückgekehrt sind und keine weiteren Auswirkungen beobachtet werden. Vielen Dank für Ihre Geduld, während wir daran gearbeitet haben, dieses Problem zu lösen.
Automatisch aus der offiziellen Störungsmeldung übersetzt.
Unsere Überwachung hat erhöhte Ausfälle für LexisNexis-Dienste erkannt, und unser Engineering-Team untersucht aktiv. Wir werden ein Update bereitstellen, sobald weitere Informationen verfügbar sind.
Wir haben bestätigt, dass die erhöhten Fehlerquoten auf einen Ausfall der LexisNexis-Dienste zurückzuführen sind. Folgende Dienste sind derzeit nachweislich betroffen: InstantID WorldCompliance Risikoansicht LexisNexis Fraud Intelligence 2 Accurint InstantIDQA EnhancedPersonSearch Wir haben LexisNexis kontaktiert und warten auf eine Aktualisierung ihres geschätzten Zeitplans für die Wiederherstellung des Dienstes. Wir werden die Situation weiterhin überwachen und Updates bereitstellen, wenn wir zusätzliche Informationen erhalten.
Wir sehen, dass die Fehlerquoten bei den betroffenen LexisNexis-Diensten sinken. Darüber hinaus ist die LexisNexis-Statusseite, die zuvor während des Vorfalls nicht zugänglich war, jetzt wieder verfügbar - https://status.lexisnexisrisk.com/. Wir werden die Leistung weiterhin genau überwachen und ein weiteres Update bereitstellen, sobald wir bestätigt haben, dass die Fehlerquoten vollständig wieder normal sind.
Wir sehen weiterhin eine Erholung bei den betroffenen LexisNexis-Diensten, wobei die meisten Dienste jetzt normal funktionieren. Wir beobachten immer noch erhöhte Fehlerquoten für RiskView und InstantVerify International und überwachen diese Dienste weiterhin genau. Wir werden ein weiteres Update bereitstellen, sobald wir bestätigt haben, dass alle Dienste vollständig wiederhergestellt sind.
Wir haben eine Erholung bei den betroffenen LexisNexis-Diensten gesehen und die Fehlerquoten sind auf das erwartete Niveau zurückgekehrt. Dieser Vorfall gilt nun als gelöst. Wir werden weiterhin mit dem LexisNexis-Team zusammenarbeiten, um eine Root Cause Analysis (RCA) zu erhalten. Wenn Sie eine Kopie der RCA erhalten möchten, wenn sie verfügbar ist, wenden Sie sich bitte an [email protected].
Automatisch aus der offiziellen Störungsmeldung übersetzt.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
We are currently investigating a spike in 500 errors affecting dashboard loading for some users . Our team is actively working to identify the root cause and mitigate the issue. We also observed a brief increase in API errors during this period, but API performance is now operating as expected.
We are seeing recovery in dashboard performance with error rates returning toward normal levels. We are closely monitoring the platform to ensure stability is fully restored.
After further montioring, we have not observed any new errors. All systems are operating normally.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
Service has returned to normal operation as of 3:36 PM ET, and our monitoring confirms that API performance is stable. We will continue to monitor closely to ensure ongoing reliability. We apologize for any disruption this may have caused and appreciate your patience while we worked to resolve the issue.
Starting at 9:17 AM ET, the homepage analytics dashboards were not loading as expected. All other dashboard pages and services remained fully operational. As of 11:47 AM ET, the system has recovered and is fully operational.
We're currently investigating a period of latency and intermittent API unavailability that occurred between 11 and 11:15 ET.
We believe the cause of the latency is resolved.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
The impact is limited to a subset of test suite endpoints used by the dashboard, our production apis were not impacted.
The issue has been resolved.
We recently identified and resolved an issue affecting some plugins initialized through the Alloy SDK. For a subset of SDK Plugins, applications initializing the SDK may have experienced unexpected behavior, which could present as UI instability or premature close events. We mitigated the issue by rolling back a recent SDK change. Following the rollback, normal plugin behavior was restored. If you continue to experience any issues, please contact Alloy Support.
Between March 4 at 11:00 PM ET and March 5 at 10:07 AM ET, we experienced an elevated rate of memory-related errors impacting evaluations running through JQ input attributes. As a result, some evaluations returned a null value for the input attribute instead of the correct value, potentially interrupting decisioning in the Workflow. Impacted applications would need to be re-run. Only workflows using input attributes with JQ were impacted; other Workflow logic was not impacted. The issue has been identified and resolved, and all systems are now operating normally.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
API functionality has been fully restored. We are continuing to investigate the impact and look into root causes.
We are currently experiencing delays in realtime webhook processing. The root cause has been identified and we are applying mitigation measures. We are now monitoring recovery as the processing queue returns to normal levels. Webhook events continue to be accepted; however, processing and delivery responses may be delayed until the existing backlog has been fully cleared.
Realtime webhook processing has been fully restored. All new webhook events are now completing in realtime as expected. During the incident, webhook events generated between 2:24 PM - 4:38 PM ET and 5:42 - 5:45 ET were not successfully processed and were permanently lost. Webhooks generated outside of this time window were not impacted. This issue affects applications that are stuck at a Journey step dependent on an Alloy webhook response to proceed (for example, action nodes), as well as applications that completed with a Manual Review outcome but are not reflecting back in core after review. Applications submitted during the affected window that are currently blocked due to a missing webhook dependency will need to be replayed. We recommend resubmitting those applications via API. Re-running an application will leverage cached data by default and will not trigger new calls to external data vendors. A thorough postmortem will be completed a Root Cause Analysis (RCA) can be shared with customers - please email [email protected] if you would like to receive the RCA. We are also investing in further improvements to the reliability and resiliency of our webhook queueing mechanism in the future to prevent event loss in the future.
Realtime webhook processing has been fully restored, and has maintained stability after monitoring. All new webhook events are now completing in realtime as expected. To further strengthen system stability, the engineering team has deployed an additional mitigation to prevent webhook queue backlogging under similar spike conditions. A thorough postmortem will be completed a Root Cause Analysis (RCA) can be shared with customers - please email [email protected] if you would like to receive the RCA. We are also investing in further improvements to the reliability and resiliency of our webhook queueing mechanism in the future to prevent event loss in the future. Please note, action is required to ensure applications process: During the incident, webhook events generated between 2:24 PM - 4:38 PM ET and 5:42 - 5:45 ET were not successfully processed and were permanently lost. Webhooks generated outside of this time window were not impacted. This issue affects applications that are stuck at a Journey step dependent on an Alloy webhook response to proceed (for example, action nodes), as well as applications that completed with a Manual Review outcome but are not reflecting back in core after review. Applications submitted during the affected window that are currently blocked due to a missing webhook dependency will need to be replayed. We recommend resubmitting those applications via API. Re-running an application will leverage cached data by default and will not trigger new calls to external data vendors.
We are currently investigating reports of elevated response times that affect both the Alloy Dashboard and API. Some customers may experience slower load times for the dashboard and longer response times for the API. Our engineering team is actively investigating.
The root cause has been identified. Response times for the Dashboard and API have returned to normal levels since 3:46 PM ET.
Between 11:20 AM and 12:04 PM ET, some workflows returned a 500 error when attempting to save a new version. Existing workflow versions and decisioning on existing workflow versions were not impacted. Once the root cause was identified as a previous code change, the issue was resolved at 12:04 PM ET when the affected change was rolled back, and all functionality related to workflow version saving was fully restored.
We are currently investigating an issue where Journey Analytics pages, Investigation detail pages, Fraud Attack Radar, and some Evaluation detail pages may not be loading data as expected. The issue is intermittent, and not all pages are impacted. Decisioning is not impacted. Journey Applications and Evaluations are completing successfully.
Our team continues to investigate the issue. At this time, there is no new information to share, but we are actively working to identify the root cause and will share updates as soon as possible.
We are still investigating this issue and will provide another update as soon as more information is available.
A fix has been implemented and all systems are operational.
We are currently investigating an issue where Journey Analytics pages, Investigation detail pages, Fraud Attack Radar, and some Evaluation detail pages may not be loading data as expected. The issue is intermittent, and not all pages are impacted. Decisioning is not impacted. Journey Applications and Evaluations are completing successfully.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.