58 Alloy incidents · Ιούλιος 2024 — official updates, affected components, duration and resolution details.
Between approximately 11:18 AM and 11:38 AM ET, some users experienced intermittent issues loading Workflows, Journeys, and Application Queues in the Alloy Dashboard. A fix has been rolled out and we have confirmed that the affected pages are loading normally.
Εξαγωγές λειτουργικότητα έχει βιώσει υποβαθμισμένη απόδοση σε όλη την εβδομάδα; είμαστε διερεύνηση του ζητήματος. Αυτή τη στιγμή ερευνούμε αυτό το ζήτημα.
Αναγνωρίσαμε το θέμα, αναπτύξαμε μια λύση και επιβεβαιώσαμε ότι η εξαγωγική επεξεργασία έχει επιστρέψει σε κανονικά επίπεδα.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Μεταξύ 12:45 μ.μ. και 1:20 μ.μ. ET στις 27 Αυγούστου, ένας τρίτος πάροχος δεδομένων Threatmetrix παρουσίασε μια διαταραχή της υπηρεσίας που προκάλεσε διαλείποντα σφάλματα σύνδεσης στους ελέγχους πληροφοριών συσκευών. Κατά τη διάρκεια αυτού του παραθύρου, ορισμένες αξιολογήσεις που χρησιμοποιούν την απήχηση υπηρεσία ολοκληρώθηκε ως μερική αντί να επιστρέψει μια πλήρη απάντηση του παρόχου, και ορισμένα αιτήματα είδαν αυξημένη λανθάνουσας ή χρονισμού συνδετήρων. Ο πάροχος έχει επιβεβαιώσει ότι το υποκείμενο ζήτημα έχει επιλυθεί, και τα ποσοστά σφάλματος επανήλθαν στο κανονικό κατά 1:20 PM ET. Οι αξιολογήσεις που υποβλήθηκαν εκτός αυτού του παραθύρου δεν επηρεάστηκαν.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Ο αυτοματισμός μας εντόπισε υποβαθμισμένη απόδοση των εξαρτημάτων Dashboard, παραγωγής API και Sandbox API. Αυτή τη στιγμή ερευνούμε αυτό το ζήτημα.
Η απόδοση αποκαταστάθηκε, όλα τα εξαρτήματα λειτουργούν.
Το θέμα έχει επιλυθεί πλήρως. Αυξημένα ποσοστά σφάλματος παρατηρήθηκαν στις 25 Αυγούστου μεταξύ 14:18 και 14:22 μμ ET και μεταξύ 14:29 και 14:35 μμ ET
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Εντοπίσαμε θέματα με τον πάροχο μας. Η λήψη αποφάσεων συνεχίζει να λειτουργεί, αλλά η διεύθυνση που παρέχεται θα αποσταλεί σε κατάντη υπηρεσίες, γεγονός που μπορεί να οδηγήσει σε μερικά ψευδώς αρνητικά. Είμαστε σε επαφή με τον πωλητή και θα ενημερωθούμε μόλις μάθουμε περισσότερα.
Το περιστατικό λύθηκε.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Μερικοί πελάτες βιώνουν αυξημένα ποσοστά σφάλματος για τα ταξίδια μας API. Ερευνούμε τον αντίκτυπο τώρα, και εργαζόμαστε για την αποκατάσταση.
Έχουμε ωθήσει ένα σταθερό που έχει επιλύσει την πλειοψηφία των θεμάτων, αυτή τη στιγμή παρακολουθούμε
Το ζήτημα έχει πλέον επιλυθεί και η ομάδα μας εξακολουθεί να παρακολουθεί. Επιβεβαιώσαμε επίσης ότι αυτή η υπόθεση επηρέασε το ταμπλό μας, και ότι ο σχετικός αντίκτυπος έχει επίσης αντιμετωπιστεί.
Η ζωντανή κυκλοφορία έχει αποκατασταθεί πλήρως και το υποκείμενο ζήτημα έχει επιλυθεί. Συνεχίζουμε να αντιμετωπίζουμε την υπολειπόμενη λανθάνουσα λανθάνουσα λανθάνουσα λανθάνουσα indexing ταμπλό για αιτήματα που υποβλήθηκαν κατά τη διάρκεια της περιόδου συμβάντος, και η ομάδα εργάζεται ενεργά προς την πλήρη ανάκτηση.
Το θέμα που επηρεάζει το API Journeys έχει επιλυθεί πλήρως, και η υπηρεσία έχει επιστρέψει στο κανονικό. Ολοκληρώσαμε την παρακολούθηση και επιβεβαιώσαμε ότι η σχετική λειτουργία του ταμπλό έχει ανακάμψει επίσης από τις 21 Ιουλίου 2026 στις 5:11 μμ ET. Σας ευχαριστώ για την υπομονή σας, ενώ εργαστήκαμε για την αποκατάσταση της υπηρεσίας.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Αυτή τη στιγμή ερευνούμε αναφορές για θέματα σύνδεσης και ερωτήσεις εφαρμογών που δεν εμφανίζονται για ορισμένους πελάτες. Η ομάδα μας εργάζεται ενεργά για τον εντοπισμό της αιτίας και θα παρέχει άλλη ενημέρωση μόλις είναι διαθέσιμες περισσότερες πληροφορίες.
Επιβεβαιώσαμε ότι η λειτουργικότητα σύνδεσης και οι απαιτήσεις εφαρμογής έχουν επιστρέψει στην κανονική λειτουργία, και δεν παρατηρείται περαιτέρω αντίκτυπος. Σας ευχαριστώ για την υπομονή σας, ενώ εργαστήκαμε για την επίλυση αυτού του ζητήματος.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Η παρακολούθησή μας εντόπισε αυξημένες αποτυχίες για τις υπηρεσίες της Λέξις Νέξις και η ομάδα μας ερευνά ενεργά. Θα παρέχουμε μια ενημέρωση μόλις είναι διαθέσιμες περισσότερες πληροφορίες.
Επιβεβαιώσαμε ότι τα αυξημένα ποσοστά σφάλματος οφείλονται σε μια διακοπή που επηρεάζει τις υπηρεσίες της Λέξις Νέξις. Επιβεβαιώνονται επί του παρόντος οι ακόλουθες υπηρεσίες: Στιγμιαίο ID Παγκόσμια Συμμόρφωση Προβολή Κινδύνου Λέξις Νέξις Απάτη Νοημοσύνη 2 Ακριβής Στιγμιαίο IDQA Ενισχυμένη έρευνα προσωπικού Επικοινωνήσαμε με τη Λέξις Νέξις και περιμένουμε ενημέρωση για το εκτιμώμενο χρονοδιάγραμμα για την αποκατάσταση των υπηρεσιών. Θα συνεχίσουμε να παρακολουθούμε την κατάσταση και να παρέχουμε ενημερώσεις καθώς λαμβάνουμε πρόσθετες πληροφορίες.
Βλέπουμε τα ποσοστά σφαλμάτων να μειώνονται στις υπηρεσίες Λέξις Νέξις. Επιπλέον, η σελίδα κατάστασης Λέξις Νέξις, η οποία ήταν προηγουμένως απρόσιτη κατά τη διάρκεια του περιστατικού, είναι πλέον διαθέσιμη και πάλι - https://status.lexisnexisrisk.com/. Θα συνεχίσουμε να παρακολουθούμε στενά τις επιδόσεις και θα παρέχουμε άλλη μια ενημέρωση μόλις επιβεβαιώσουμε ότι τα ποσοστά σφάλματος έχουν επιστρέψει πλήρως στο κανονικό.
Συνεχίζουμε να βλέπουμε την ανάκαμψη των υπηρεσιών Λέξις Νέξις, με τις περισσότερες υπηρεσίες να λειτουργούν κανονικά. Παρατηρούμε ακόμα αυξημένα ποσοστά σφαλμάτων για το RiskView και το InstantVerify International και συνεχίζουμε να παρακολουθούμε στενά αυτές τις υπηρεσίες. Θα παρέχουμε άλλη μια ενημέρωση μόλις επιβεβαιώσουμε ότι όλες οι υπηρεσίες έχουν ανακάμψει πλήρως.
Έχουμε δει ανάκαμψη σε όλες τις επιπτώσεις υπηρεσίες LexisNexis και τα ποσοστά σφαλμάτων έχει επιστρέψει στα αναμενόμενα επίπεδα. Το περιστατικό αυτό θεωρείται πλέον ότι επιλύθηκε. Θα συνεχίσουμε να συνεργαζόμαστε με την ομάδα της LexisNexis για να αποκτήσουμε μια Ανάλυση Root Cause (RCA). Εάν θέλετε να λάβετε ένα αντίγραφο του RCA όταν είναι διαθέσιμο, παρακαλούμε επικοινωνήστε με το [email protected].
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
We are currently investigating a spike in 500 errors affecting dashboard loading for some users . Our team is actively working to identify the root cause and mitigate the issue. We also observed a brief increase in API errors during this period, but API performance is now operating as expected.
We are seeing recovery in dashboard performance with error rates returning toward normal levels. We are closely monitoring the platform to ensure stability is fully restored.
After further montioring, we have not observed any new errors. All systems are operating normally.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
Service has returned to normal operation as of 3:36 PM ET, and our monitoring confirms that API performance is stable. We will continue to monitor closely to ensure ongoing reliability. We apologize for any disruption this may have caused and appreciate your patience while we worked to resolve the issue.
Starting at 9:17 AM ET, the homepage analytics dashboards were not loading as expected. All other dashboard pages and services remained fully operational. As of 11:47 AM ET, the system has recovered and is fully operational.
We're currently investigating a period of latency and intermittent API unavailability that occurred between 11 and 11:15 ET.
We believe the cause of the latency is resolved.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
The impact is limited to a subset of test suite endpoints used by the dashboard, our production apis were not impacted.
The issue has been resolved.
We recently identified and resolved an issue affecting some plugins initialized through the Alloy SDK. For a subset of SDK Plugins, applications initializing the SDK may have experienced unexpected behavior, which could present as UI instability or premature close events. We mitigated the issue by rolling back a recent SDK change. Following the rollback, normal plugin behavior was restored. If you continue to experience any issues, please contact Alloy Support.
Between March 4 at 11:00 PM ET and March 5 at 10:07 AM ET, we experienced an elevated rate of memory-related errors impacting evaluations running through JQ input attributes. As a result, some evaluations returned a null value for the input attribute instead of the correct value, potentially interrupting decisioning in the Workflow. Impacted applications would need to be re-run. Only workflows using input attributes with JQ were impacted; other Workflow logic was not impacted. The issue has been identified and resolved, and all systems are now operating normally.
Our API integration tests have encountered an increase in errors. We are currently investigating. Stay tuned for updates.
API functionality has been fully restored. We are continuing to investigate the impact and look into root causes.
We are currently experiencing delays in realtime webhook processing. The root cause has been identified and we are applying mitigation measures. We are now monitoring recovery as the processing queue returns to normal levels. Webhook events continue to be accepted; however, processing and delivery responses may be delayed until the existing backlog has been fully cleared.
Realtime webhook processing has been fully restored. All new webhook events are now completing in realtime as expected. During the incident, webhook events generated between 2:24 PM - 4:38 PM ET and 5:42 - 5:45 ET were not successfully processed and were permanently lost. Webhooks generated outside of this time window were not impacted. This issue affects applications that are stuck at a Journey step dependent on an Alloy webhook response to proceed (for example, action nodes), as well as applications that completed with a Manual Review outcome but are not reflecting back in core after review. Applications submitted during the affected window that are currently blocked due to a missing webhook dependency will need to be replayed. We recommend resubmitting those applications via API. Re-running an application will leverage cached data by default and will not trigger new calls to external data vendors. A thorough postmortem will be completed a Root Cause Analysis (RCA) can be shared with customers - please email [email protected] if you would like to receive the RCA. We are also investing in further improvements to the reliability and resiliency of our webhook queueing mechanism in the future to prevent event loss in the future.
Realtime webhook processing has been fully restored, and has maintained stability after monitoring. All new webhook events are now completing in realtime as expected. To further strengthen system stability, the engineering team has deployed an additional mitigation to prevent webhook queue backlogging under similar spike conditions. A thorough postmortem will be completed a Root Cause Analysis (RCA) can be shared with customers - please email [email protected] if you would like to receive the RCA. We are also investing in further improvements to the reliability and resiliency of our webhook queueing mechanism in the future to prevent event loss in the future. Please note, action is required to ensure applications process: During the incident, webhook events generated between 2:24 PM - 4:38 PM ET and 5:42 - 5:45 ET were not successfully processed and were permanently lost. Webhooks generated outside of this time window were not impacted. This issue affects applications that are stuck at a Journey step dependent on an Alloy webhook response to proceed (for example, action nodes), as well as applications that completed with a Manual Review outcome but are not reflecting back in core after review. Applications submitted during the affected window that are currently blocked due to a missing webhook dependency will need to be replayed. We recommend resubmitting those applications via API. Re-running an application will leverage cached data by default and will not trigger new calls to external data vendors.
We are currently investigating reports of elevated response times that affect both the Alloy Dashboard and API. Some customers may experience slower load times for the dashboard and longer response times for the API. Our engineering team is actively investigating.
The root cause has been identified. Response times for the Dashboard and API have returned to normal levels since 3:46 PM ET.
Between 11:20 AM and 12:04 PM ET, some workflows returned a 500 error when attempting to save a new version. Existing workflow versions and decisioning on existing workflow versions were not impacted. Once the root cause was identified as a previous code change, the issue was resolved at 12:04 PM ET when the affected change was rolled back, and all functionality related to workflow version saving was fully restored.
We are currently investigating an issue where Journey Analytics pages, Investigation detail pages, Fraud Attack Radar, and some Evaluation detail pages may not be loading data as expected. The issue is intermittent, and not all pages are impacted. Decisioning is not impacted. Journey Applications and Evaluations are completing successfully.
Our team continues to investigate the issue. At this time, there is no new information to share, but we are actively working to identify the root cause and will share updates as soon as possible.
We are still investigating this issue and will provide another update as soon as more information is available.
A fix has been implemented and all systems are operational.