57 Alloy incidents · juillet 2024 — official updates, affected components, duration and resolution details.
La fonctionnalité d'exportation a connu des performances dégradées tout au long de cette semaine; nous enquêtons sur le problème. Nous enquêtons actuellement sur cette question.
Nous avons identifié le problème, déployé un correctif et confirmé la performance de traitement des exportations est revenu à des niveaux normaux.
Traduit automatiquement depuis la mise à jour officielle de l'incident.
Entre 12 h 45 et 13 h 20 (HE) le 27 août, un fournisseur de données tiers Threatmetrix a subi une interruption de service qui a causé des erreurs de connexion intermittentes lors des vérifications des renseignements sur les appareils. Au cours de cette fenêtre, certaines évaluations qui utilisent le service impacté ont été effectuées en partie plutôt que de renvoyer une réponse complète du fournisseur, et certaines demandes ont vu une latence élevée ou des délais de connexion. Le fournisseur a confirmé que le problème sous-jacent est résolu et que les taux d'erreur sont revenus à la normale à 13 h 20 HNE. Les évaluations présentées à l'extérieur de cette fenêtre n'ont pas été touchées.
Traduit automatiquement depuis la mise à jour officielle de l'incident.
Notre automatisation a détecté des performances dégradées des composants Dashboard, Production API et Sandbox API. Nous enquêtons actuellement sur cette question.
Les performances ont été rétablies, toutes les composantes sont opérationnelles.
La question a été entièrement réglée. Des taux d'erreur élevés ont été observés le 25 août entre 14h18 et 14h22 ET et entre 14h29 et 14h35 ET
Traduit automatiquement depuis la mise à jour officielle de l'incident.
Nous avons détecté des problèmes avec notre fournisseur de formatage d'adresses. La décision continue de fonctionner, mais l'adresse brute fournie sera envoyée aux services en aval, ce qui peut entraîner de faux négatifs. Nous sommes actuellement en contact avec le fournisseur et nous mettrons à jour dès que nous en savons plus.
Cet incident a été résolu.
Traduit automatiquement depuis la mise à jour officielle de l'incident.
Certains clients connaissent des taux d'erreur élevés pour notre API Voyages. Nous enquêtons maintenant sur l'impact et nous travaillons à l'assainissement.
Nous avons poussé un fixe qui a résolu la majorité des questions, nous suivons actuellement
Le problème a maintenant été résolu, et notre équipe continue de suivre. Nous avons également confirmé que cette affaire a eu un impact sur notre tableau de bord et que l'impact connexe a également été abordé.
Le trafic en direct a été entièrement rétabli et le problème sous-jacent a été résolu. Nous continuons de nous pencher sur la latence résiduelle qui affecte l'indexation des demandes soumises au tableau de bord pendant la période de l'incident, et l'équipe travaille activement à la récupération complète.
Le problème touchant l'API Voyages a été entièrement résolu et le service est revenu à la normale. Nous avons terminé la surveillance et confirmé que la fonctionnalité connexe du tableau de bord s'est également rétablie à partir du 21 juillet 2026 à 17 h 11. Merci de votre patience pendant que nous avons travaillé pour rétablir le service.
Traduit automatiquement depuis la mise à jour officielle de l'incident.
Nous enquêtons actuellement sur les rapports de problèmes de connexion et les requêtes d'application ne s'affichent pas pour certains clients. Notre équipe travaille activement à identifier la cause et fournira une autre mise à jour dès que plus d'information est disponible.
Nous avons confirmé que la fonctionnalité de connexion et les files d'attente d'applications sont revenues à un fonctionnement normal, et aucun impact supplémentaire n'est observé. Merci de votre patience pendant que nous avons travaillé à résoudre ce problème.
Traduit automatiquement depuis la mise à jour officielle de l'incident.
Notre surveillance a détecté des défaillances élevées pour les services LexisNexis, et notre équipe d'ingénierie enquête activement. Nous fournirons une mise à jour dès que de plus amples renseignements seront disponibles.
Nous avons confirmé que les taux d'erreur élevés sont dus à une panne affectant les services LexisNexis. On confirme actuellement que les services suivants sont touchés : ID instantané Conformité mondiale Vue des risques LexisNexis Fraude Intelligence 2 Accurint InstantIDQA Recherche de personne améliorée Nous avons contacté LexisNexis et attendons une mise à jour de leur calendrier estimatif de restauration du service. Nous continuerons de surveiller la situation et de fournir des mises à jour à mesure que nous recevons des renseignements supplémentaires.
Nous voyons les taux d'erreur diminuer dans les services LexisNexis touchés. De plus, la page d'état de LexisNexis, qui était auparavant inaccessible pendant l'incident, est maintenant disponible à nouveau - https://status.lexisnexisrisk.com/. Nous continuerons de surveiller de près le rendement et fournirons une autre mise à jour une fois que nous aurons confirmé que les taux d'erreur sont entièrement revenus à la normale.
Nous continuons de voir la reprise des services LexisNexis touchés, la plupart des services fonctionnant maintenant normalement. Nous observons toujours des taux d'erreur élevés pour RiskView et InstantVerify International et continuons de surveiller ces services de près. Nous fournirons une autre mise à jour une fois que nous aurons confirmé que tous les services ont entièrement récupéré.
Nous avons vu la reprise des services LexisNexis touchés et les taux d'erreur sont revenus aux niveaux prévus. Cet incident est maintenant considéré comme résolu. Nous continuerons à travailler avec l'équipe de LexisNexis pour obtenir une analyse de la cause racine. Si vous souhaitez recevoir une copie de l'ARC dès qu'elle sera disponible, veuillez contacter [email protected].
Traduit automatiquement depuis la mise à jour officielle de l'incident.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
We are currently investigating a spike in 500 errors affecting dashboard loading for some users . Our team is actively working to identify the root cause and mitigate the issue. We also observed a brief increase in API errors during this period, but API performance is now operating as expected.
We are seeing recovery in dashboard performance with error rates returning toward normal levels. We are closely monitoring the platform to ensure stability is fully restored.
After further montioring, we have not observed any new errors. All systems are operating normally.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
Service has returned to normal operation as of 3:36 PM ET, and our monitoring confirms that API performance is stable. We will continue to monitor closely to ensure ongoing reliability. We apologize for any disruption this may have caused and appreciate your patience while we worked to resolve the issue.
Starting at 9:17 AM ET, the homepage analytics dashboards were not loading as expected. All other dashboard pages and services remained fully operational. As of 11:47 AM ET, the system has recovered and is fully operational.
We're currently investigating a period of latency and intermittent API unavailability that occurred between 11 and 11:15 ET.
We believe the cause of the latency is resolved.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
The impact is limited to a subset of test suite endpoints used by the dashboard, our production apis were not impacted.
The issue has been resolved.
We recently identified and resolved an issue affecting some plugins initialized through the Alloy SDK. For a subset of SDK Plugins, applications initializing the SDK may have experienced unexpected behavior, which could present as UI instability or premature close events. We mitigated the issue by rolling back a recent SDK change. Following the rollback, normal plugin behavior was restored. If you continue to experience any issues, please contact Alloy Support.
Between March 4 at 11:00 PM ET and March 5 at 10:07 AM ET, we experienced an elevated rate of memory-related errors impacting evaluations running through JQ input attributes. As a result, some evaluations returned a null value for the input attribute instead of the correct value, potentially interrupting decisioning in the Workflow. Impacted applications would need to be re-run. Only workflows using input attributes with JQ were impacted; other Workflow logic was not impacted. The issue has been identified and resolved, and all systems are now operating normally.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
API functionality has been fully restored. We are continuing to investigate the impact and look into root causes.
We are currently experiencing delays in realtime webhook processing. The root cause has been identified and we are applying mitigation measures. We are now monitoring recovery as the processing queue returns to normal levels. Webhook events continue to be accepted; however, processing and delivery responses may be delayed until the existing backlog has been fully cleared.
Realtime webhook processing has been fully restored. All new webhook events are now completing in realtime as expected. During the incident, webhook events generated between 2:24 PM - 4:38 PM ET and 5:42 - 5:45 ET were not successfully processed and were permanently lost. Webhooks generated outside of this time window were not impacted. This issue affects applications that are stuck at a Journey step dependent on an Alloy webhook response to proceed (for example, action nodes), as well as applications that completed with a Manual Review outcome but are not reflecting back in core after review. Applications submitted during the affected window that are currently blocked due to a missing webhook dependency will need to be replayed. We recommend resubmitting those applications via API. Re-running an application will leverage cached data by default and will not trigger new calls to external data vendors. A thorough postmortem will be completed a Root Cause Analysis (RCA) can be shared with customers - please email [email protected] if you would like to receive the RCA. We are also investing in further improvements to the reliability and resiliency of our webhook queueing mechanism in the future to prevent event loss in the future.
Realtime webhook processing has been fully restored, and has maintained stability after monitoring. All new webhook events are now completing in realtime as expected. To further strengthen system stability, the engineering team has deployed an additional mitigation to prevent webhook queue backlogging under similar spike conditions. A thorough postmortem will be completed a Root Cause Analysis (RCA) can be shared with customers - please email [email protected] if you would like to receive the RCA. We are also investing in further improvements to the reliability and resiliency of our webhook queueing mechanism in the future to prevent event loss in the future. Please note, action is required to ensure applications process: During the incident, webhook events generated between 2:24 PM - 4:38 PM ET and 5:42 - 5:45 ET were not successfully processed and were permanently lost. Webhooks generated outside of this time window were not impacted. This issue affects applications that are stuck at a Journey step dependent on an Alloy webhook response to proceed (for example, action nodes), as well as applications that completed with a Manual Review outcome but are not reflecting back in core after review. Applications submitted during the affected window that are currently blocked due to a missing webhook dependency will need to be replayed. We recommend resubmitting those applications via API. Re-running an application will leverage cached data by default and will not trigger new calls to external data vendors.
We are currently investigating reports of elevated response times that affect both the Alloy Dashboard and API. Some customers may experience slower load times for the dashboard and longer response times for the API. Our engineering team is actively investigating.
The root cause has been identified. Response times for the Dashboard and API have returned to normal levels since 3:46 PM ET.
Between 11:20 AM and 12:04 PM ET, some workflows returned a 500 error when attempting to save a new version. Existing workflow versions and decisioning on existing workflow versions were not impacted. Once the root cause was identified as a previous code change, the issue was resolved at 12:04 PM ET when the affected change was rolled back, and all functionality related to workflow version saving was fully restored.
We are currently investigating an issue where Journey Analytics pages, Investigation detail pages, Fraud Attack Radar, and some Evaluation detail pages may not be loading data as expected. The issue is intermittent, and not all pages are impacted. Decisioning is not impacted. Journey Applications and Evaluations are completing successfully.
Our team continues to investigate the issue. At this time, there is no new information to share, but we are actively working to identify the root cause and will share updates as soon as possible.
We are still investigating this issue and will provide another update as soon as more information is available.
A fix has been implemented and all systems are operational.
We are currently investigating an issue where Journey Analytics pages, Investigation detail pages, Fraud Attack Radar, and some Evaluation detail pages may not be loading data as expected. The issue is intermittent, and not all pages are impacted. Decisioning is not impacted. Journey Applications and Evaluations are completing successfully.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.