67 Sauce Labs incidents · Νοέμβριος 2024 — official updates, affected components, duration and resolution details.
Στις 13 Οκτωβρίου, μεταξύ 05:10 UTC και 05:45 UTC, βιώσαμε αυξημένα ποσοστά σφάλματος για VDC, RDC, Sauce Connect, και υπηρεσίες IPSec στο data center ΗΠΑ-West-1. Το θέμα έχει επιλυθεί. Όλες οι υπηρεσίες είναι πλέον πλήρως λειτουργικές.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Αντιμετωπίζουμε ένα θέμα με τα Εργαστήρια Σάλτσας UI στο κέντρο δεδομένων ΕΕ-Κεντρικό-1. Ερευνούμε.
Εξακολουθούμε να αντιμετωπίζουμε ζητήματα με τα Εργαστήρια Σάλτσε UI στο κέντρο δεδομένων ΕΕ-Κεντρικό-1. Συνεχίζουμε την έρευνα.
Έχουμε σημειώσει πρόοδο στον περιορισμό της αιτίας των συνεχιζόμενων θεμάτων των Εργαστηρίων Σάλτσε UI στο κέντρο δεδομένων ΕΕ-Κεντρικής-1. Η έρευνα συνεχίζεται.
Συνεργαζόμαστε στενά με τους τρίτους παρόχους μας για να επιλύσουμε το συνεχιζόμενο ζήτημα στο κέντρο δεδομένων ΕΕ-Κεντρικό-1. Η έρευνα συνεχίζεται.
Συνεχίζουμε να συνεργαζόμαστε με τους εταίρους μας και τις σχετικές ομάδες για να διερευνήσουμε και να επιλύσουμε το συνεχιζόμενο ζήτημα στο κέντρο δεδομένων ΕΕ-Κεντρικής-1. Θα μοιραστούμε περαιτέρω ενημερώσεις καθώς θα γίνονται διαθέσιμες περισσότερες πληροφορίες.
Η βασική αιτία του προβλήματος που επηρεάζει την πρόσβαση μας στο UI στην ΕΕ-Κεντρική-1 συνδέεται με ένα συνεχιζόμενο περιστατικό με έναν από τους τρίτους παρόχους υποδομής στο κέντρο δεδομένων. Ενώ η ομάδα μας κρατά αυτό το εισιτήριο περιστατικό κλειστό στο τέλος μας, παρακολουθούμε ενεργά την τρέχουσα έρευνα του παρόχου και θα παρακολουθεί στενά τις επιδόσεις.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Βιώνουμε μια υποβάθμιση στην κατάποση σφαλμάτων για την αναφορά σφαλμάτων (Backtrace) χρησιμοποιώντας το crashpad σε Android και Linux σε όλα τα Data Centers. Αυτή τη στιγμή ερευνούμε.
Συνεχίζουμε να ερευνούμε αυτό το ζήτημα.
Η βασική αιτία της κατάποσης σφαλμάτων για την αναφορά σφάλματος (Backtrace) έχει εντοπιστεί. Έχει εφαρμοστεί αποκατάσταση και παρακολουθούμε ενεργά την κατάσταση.
Μετά τη λήψη διορθωτικών μέτρων, το θέμα κατάποσης σφαλμάτων στην Αναφορά σφάλματος (Backtrace) έχει επιλυθεί. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Βλέπουμε σήμερα αυξημένα ποσοστά σφάλματος για πραγματικές δοκιμές συσκευών στο κέντρο δεδομένων EU-Central-1. Ερευνούμε.
Τα πραγματικά ποσοστά σφάλματος δοκιμής συσκευών έχουν επανέλθει στο κανονικό στο κέντρο δεδομένων ΕΕ-Κεντρικό-1. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
- Ναι. Τετάρτη, 30 Σεπτεμβρίου 2026, 09:04 UTC - 10:49 UTC. Τι έγινε; Οι Αυτοματοποιημένες Δοκιμές Πραγματικής Συσκευής παρουσίασαν αποτυχία εκκίνησης στο Κεντρικό Κέντρο Δεδομένων της ΕΕ, με τα ποσοστά σφάλματος να φτάνουν το 25%. Γιατί συνέβη αυτό; Μια ανάπτυξη οδήγησε σε αυξημένη απώλεια λανθάνουσας μνήμης και αυξημένο φορτίο στην υποκείμενη υποδομή. Πώς το φτιάξαμε; Η υπηρεσία αποκαταστάθηκε επιστρέφοντας σε μια προηγούμενη έκδοση. Τι κάνουμε για να το αποτρέψουμε από το να συμβεί ξανά; Εναλλακτικές στρατηγικές caching θεωρούνται ότι αυξάνουν την αποτελεσματικότητα της cache.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Αυτή τη στιγμή βλέπουμε αυξημένα ποσοστά σφάλματος για αυτοματοποιημένες δοκιμές πραγματικών συσκευών στο κέντρο δεδομένων US-West-1. Αυτή τη στιγμή ερευνούμε.
Η βασική αιτία των αυξημένων ποσοστών σφάλματος για δοκιμές Real Device στο κέντρο δεδομένων US-West-1 έχει εντοπιστεί. Έχει εφαρμοστεί αποκατάσταση και παρακολουθούμε ενεργά την κατάσταση.
Μετά τη λήψη διορθωτικών μέτρων, τα ποσοστά σφάλματος της πραγματικής συσκευής έχουν επανέλθει στο κανονικό στο κέντρο δεδομένων ΗΠΑ-Δύσης-1. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
- Ναι. Δευτέρα 28 Σεπτεμβρίου 2026, 14:19 UTC - 16:52 UTC. Τι έγινε; Πραγματικές δοκιμές συσκευών σε US West κρέμασαν και δεν κατάφεραν να παράγουν αντικείμενα δοκιμών λόγω αργών ανεβάσεων. Γιατί συνέβη αυτό; Μια υποβαθμισμένη σύνδεση διασύνδεσης υπέστη μεγάλη απώλεια πακέτων από οπτικά λάθη, αλλά η BGP έμεινε πάνω, εμποδίζοντας την αυτόματη αποτυχία σε υγιείς διαδρομές. Πώς το φτιάξαμε; Χειροκίνητα απενεργοποιήθηκε η υποβαθμισμένη θύρα στο router άκρου, αναγκάζοντας την κυκλοφορία σε υγιείς εναλλακτικές διασυνδέσεις. Τι κάνουμε για να το αποτρέψουμε από το να συμβεί ξανά; Αυτόματη αποξήρανση ζεύξης με βάση τα όρια σφάλματος CRC, βελτίωση πρωτοκόλλων για την απομόνωση συνδέσμους προμηθευτών, και σκλήρυνση της ανθεκτικότητας αποστολής.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Μεταξύ 12:05 UTC και 12:35 UTC, βιώσαμε ένα υψηλό ποσοστό σφάλματος και μεγαλύτερες ώρες έναρξης συνεδρίας για τις δοκιμές Desktop και Virtual Device στο κέντρο δεδομένων ΗΠΑ-West-1. Το θέμα έχει επιλυθεί. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
### **Dates:** Wednesday, September 23rd 2026, 12:05 UTC - 12:35 UTC. ### **What happened:** Virtual Device Cloud testing availability gradually decreased in the US-West-1 data center. ### **Why it happened:** A product defect was introduced causing Virtual Device Cloud testing sessions to fail to start. ### **How we fixed it:** Rollback to a stable version. ### **What we are doing to prevent it from happening again:** Strengthen pre-deployment validation and reassess configuration rollout strategies.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Μεταξύ 09:52 UTC και 10:34 UTC, πολλαπλές υπηρεσίες Sauce Labs στο κέντρο δεδομένων ΗΠΑ-Δύσης γνώρισαν διακοπή, προκαλώντας αποτυχίες ταυτοποίησης και διαταραχές στα χαρακτηριστικά δοκιμών. Όλα τα συστήματα λειτουργούν πλήρως.
- Ναι. Τετάρτη 16 Σεπτεμβρίου 2026, 09:51 UTC - 10:35 UTC. Τι έγινε; Η διαθεσιμότητα των πολλαπλών υπηρεσιών Sauce Labs μειώθηκε σταδιακά στο data center US-West-1. Οι επηρεαζόμενες υπηρεσίες περιελάμβαναν: * Ταυτοποίηση \ (υπογραφή, SSO, υπάρχουσες συνεδρίες, και εγγραφή\) * Εικονική Σύννεφο Συσκευή \ (VDC\) * Real Device Cloud \ (RDC\) * Σύνδεση σάλτσας * ΑΝΑΖΗΤΗΣΗ API * Αποθήκευση εφαρμογών * Ενόραση * Σάλτσα Οπτική * Συνθέτης δοκιμής * Διαχείριση χρηστών και ομάδων * Σχέδια χρέωσης και API χρήσης Γιατί συνέβη αυτό; Η ανάπτυξη της υπηρεσίας ταυτοποίησης πυροδότησε απροσδόκητη αύξηση στις συνδέσεις βάσεων δεδομένων, προκαλώντας αποτυχίες ταυτοποίησης και διατάζοντας πολλαπλές υπηρεσίες Sauce Labs. Πώς το φτιάξαμε; Επανεκκίνησε τον κόμβο της βάσης δεδομένων. Τι κάνουμε για να το αποτρέψουμε από το να συμβεί ξανά; Βελτίωση στρατηγικών rollout, διαχείριση του κύκλου ζωής σύνδεσης, μηχανισμούς αποτυχίας, και την ανταπόκριση στον έλεγχο υγείας.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Βλέπουμε αυξημένα ποσοστά σφαλμάτων για δοκιμές Real Device στο κέντρο δεδομένων EU-Central-1. Ερευνούμε.
Έχει εντοπιστεί η βασική αιτία των αυξημένων ποσοστών σφάλματος για δοκιμές Real Device στο κέντρο δεδομένων EU-Central-1. Έχει εφαρμοστεί αποκατάσταση και παρακολουθούμε ενεργά την κατάσταση.
Μετά τη λήψη διορθωτικών μέτρων, τα ποσοστά σφάλματος της πραγματικής συσκευής επανήλθαν στο φυσιολογικό στο κέντρο δεδομένων ΕΕ-Κεντρικό-1. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
**Ημερομηνίες: ** Τετάρτη 2 Σεπτεμβρίου 2026, 08:30 UTC - 11:15 UTC. Τι έγινε; Πραγματική Συσκευή Αυτοματοποιημένες Δοκιμές παρουσίασαν αποτυχία εκκίνησης στο Κεντρικό Κέντρο Δεδομένων της ΕΕ, με τα αυξημένα ποσοστά σφάλματος να φτάνουν σχεδόν το 100% για μικρά χρονικά διαστήματα. Γιατί συνέβη αυτό; Μια ανάπτυξη οδήγησε σε αυξημένη απώλεια λανθάνουσας μνήμης και αυξημένο φορτίο στην υποκείμενη υποδομή. Πώς το φτιάξαμε; Η υπηρεσία αποκαταστάθηκε επανεκκινώντας την εφαρμογή. Τι κάνουμε για να το αποτρέψουμε από το να συμβεί ξανά; Επιπλέον πόροι διατέθηκαν για τη μείωση της πιθανότητας επανάληψης βραχυπρόθεσμα. Μακροπρόθεσμα, θα βελτιστοποιήσουμε την απόδοση των καθηκόντων έντασης πόρων και θα εισαγάγουμε δυναμική κλιμάκωση.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Αυτή τη στιγμή βλέπουμε αυξημένα ποσοστά σφάλματος για macOS και iOS δοκιμές στο κέντρο δεδομένων ΗΠΑ-West-1. Αυτή τη στιγμή ερευνούμε.
Μετά τη λήψη διορθωτικών μέτρων, όλες οι δοκιμές macOS και iOS εκτελούνται τώρα όπως αναμενόταν στο κέντρο δεδομένων ΗΠΑ-West-1. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
- Ναι. Τρίτη 25 Αυγούστου 2026, 11:38 – 13:10 UTC Τι έγινε; Πελάτες που εκτελούν macOS και iOS δοκιμές στην περιοχή ΗΠΑ-Δύσης μας έμπειροι υποβαθμισμένη υπηρεσία. Περίπου το 50% της εικονικής ικανότητας Mac στην περιοχή σταμάτησε να δέχεται νέες δοκιμές, έτσι δοκιμές είτε σε αναμονή είτε δεν κατάφεραν να ξεκινήσουν. Η υπολειπόμενη χωρητικότητα βρισκόταν υπό πρόσθετη πίεση καθώς η εργασία μετατοπιζόταν πάνω της, η οποία επέκτεινε τους χρόνους έναρξης τόσο για τις δοκιμές επιφάνειας εργασίας όσο και για τις δοκιμές προσομοιωτή. Γιατί συνέβη αυτό; Ένα πιστοποιητικό εσωτερικής ασφάλειας που χρησιμοποιείται από τους οικοδεσπότες μας Mac για να φτάσει σε μια υπηρεσία υποστήριξης cloud έφτασε την ημερομηνία λήξης του. Μετά το πέρας της λειτουργίας της, οι οικοδεσπότες δεν μπορούσαν πλέον να εδραιώσουν μια αξιόπιστη σύνδεση με αυτή την υπηρεσία και σταμάτησαν να παρέχουν νέες μηχανές δοκιμών. Το πιστοποιητικό είχε εκδοθεί χειροκίνητα και δεν είχε ούτε αυτόματη ανανέωση ούτε προειδοποίηση λήξης. Πώς το φτιάξαμε; Εκδόσαμε και αναπτύξαμε ένα πιστοποιητικό αντικατάστασης, το οποίο αποκατέστησε τη συνδεσιμότητα και επέστρεψε την ικανότητα Mac σε κανονικά επίπεδα. Τι κάνουμε για να το αποτρέψουμε από το να συμβεί ξανά; Μετακινούμε αυτά τα πιστοποιητικά στην αυτοματοποιημένη ανανέωση και την προσθήκη ειδοποίησης, έτσι ώστε να αντικατασταθούν πολύ πριν από τη λήξη, μαζί με την αναθεώρηση των γύρω εργαλείων για να κάνει το χειρισμό πιστοποιητικών ασφαλέστερο.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Αυτή τη στιγμή βλέπουμε αυξημένα ποσοστά σφάλματος για εικονικές δοκιμές επιφάνειας εργασίας στο κέντρο δεδομένων ΗΠΑ-Δύσης-1. Αυτή τη στιγμή ερευνούμε.
After taking remedial action, Virtual Desktop tests are starting successfully in the US-West-1 Data center. All services are fully operational. We are closely monitoring the situation
### **Dates:** Friday, August 7th 2026, 11:00 UTC - 13:04 UTC. ### **What happened:** Windows and Intel Mac jobs in `us-west1` failed to start due to virtual machine \(VM\) allocation starvation. ### **Why it happened:** A service crash loop left VMs in an allocated but unclaimed state, while a cleanup bug prevented the system from releasing the orphaned capacity to boot new VMs. ### **How we fixed it:** Restored service stability and cleared stale allocations to resume VM provisioning and clear queued jobs. ### **What we are doing to prevent it from happening again:** Fixing allocator cleanup logic, strengthening deployment health checks, and improving capacity accounting for stale allocations.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Μεταξύ 16 Ιουλίου 13:03 UTC και 16 Ιουλίου 17:33 UTC, βιώσαμε μια διαταραχή της υπηρεσίας όπου τα αρχεία συμβόλων που χρησιμοποιούν τα πρωτόκολλα πολλαπλών μερών αποστολής δεν κατάφεραν να επεξεργαστούν. Το περιστατικό λύθηκε και όλες οι υπηρεσίες λειτουργούν.
### **Dates:** Thursday July 16th 2026, 13:03 – 17:33 UTC ### **What happened:** Symbol archives uploaded in multiple parts failed to process. All regions were affected. ### **Why it happened:** Our symbol processing service sent an upload-verification field that our cloud storage provider's API does not accept for multi-part uploads, so those uploads were rejected. A fix for this had already been developed, but it had not yet been included in a released build and the service was not configured to use it. As in the first incident, rejected uploads were retried and accumulated on local disk. ### **How we fixed it:** We deployed a build containing the fix and corrected the service configuration on the affected workers. A large backlog of uploads then processed, which briefly re-filled the disks before draining completely. ### **What we are doing to prevent it from happening again:** We are releasing the fix formally through our build pipeline and persisting the corrected configuration in our configuration management, so it can't be lost. The disk-utilization alerting added after the first incident also covers the disk-exhaustion pattern common to both.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Μεταξύ 14 Ιουλίου 23:45 UTC και 15 Ιουλίου 23:05 UTC, βιώσαμε ένα θέμα όπου το αρχείο συμβόλων φορτώνει σε έργα Backtrace απέτυχε με σφάλματα HTTP 400. Το περιστατικό λύθηκε και όλες οι υπηρεσίες λειτουργούν.
### **Dates:** Tuesday July 14th 2026, 23:45 UTC – Wednesday July 15th 2026, 23:05 UTC ### **What happened:** Symbol archive uploads to Error Reporting \(Backtrace\) projects failed with HTTP 400 errors. All regions were affected. ### **Why it happened:** The credentials our symbol processing service used to write to cloud storage were no longer valid, so uploads could not be stored. Failed uploads were retried repeatedly and accumulated on local disk until the service ran out of space, at which point it also began rejecting new uploads. ### **How we fixed it:** We reissued the storage credentials, increased disk capacity on the affected workers, and restarted the service. The queued uploads then processed successfully, and we confirmed recovery with affected customers. ### **What we are doing to prevent it from happening again:** We've added disk-utilization monitoring and alerting to this service so we detect the condition ourselves before it affects uploads, rather than relying on customer reports.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Αντιμετωπίζουμε ένα ζήτημα στο κέντρο δεδομένων της ΕΕ Central 1, όπου οι δοκιμές εφαρμογής iOS ARM Simulator αποτυγχάνουν με σφάλματα υποδομής. Ερευνούμε.
Οι λήψεις εφαρμογών παίρνουν περισσότερο χρόνο από το αναμενόμενο όταν αυτά τα σφάλματα υποδομής φαίνονται. Συνεχίζουμε την έρευνα.
Έχουμε αναπτύξει μια λύση για αυτό το ζήτημα. Οι δοκιμές θα πρέπει τώρα να πραγματοποιούνται όπως αναμενόταν στο κέντρο δεδομένων της ΕΕ. Παρακολουθούμε.
Συνεχίζουμε να παρακολουθούμε για τυχόν περαιτέρω ζητήματα.
Αφού λάβουμε διορθωτικά μέτρα και παρακολουθούμε την κατάσταση, βλέπουμε δοκιμές εφαρμογής iOS ARM να πραγματοποιούνται όπως αναμενόταν στο Κέντρο Δεδομένων της ΕΕ. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
- Ναι. Τρίτη 14 Ιουλίου 2026, 09:00 - 18:28 UTC Τι έγινε; Οι δοκιμές iOS ARM που διεξήχθησαν στο κέντρο δεδομένων της ΕΕ απέτυχαν. Γιατί συνέβη αυτό; Ένα σφάλμα συνέβη με τον κύριο πάροχο του δικτύου μας στο κέντρο δεδομένων της ΕΕ. Πώς το φτιάξαμε; Αποτύχαμε σε έναν δευτερεύοντα πάροχο δικτύου από το κέντρο δεδομένων της ΕΕ. Τι κάνουμε για να το αποτρέψουμε από το να συμβεί ξανά; Βελτιώσαμε την παρακολούθηση και την ειδοποίησή μας για να πιάσουμε θέματα με τρίτους παρόχους δικτύων.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Την 1η Ιουλίου μεταξύ 17:02 UTC και 21:31 UTC, οι δοκιμές macOS 14 απέτυχαν να ξεκινήσουν στα κέντρα δεδομένων ΗΠΑ-Δύσης και ΕΕ-Κεντρικής. Το θέμα αυτό έχει επιλυθεί. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
### **Dates:** Wednesday July 1st 2026, 17:02 UTC - 21:31 UTC ### **What happened:** macOS 14 tests in the US West and EU Central data centers were unable to start. ### **Why it happened:** An internal datasource was unavailable due to a missing configuration entry. ### **How we fixed it:** The missing entry was replaced. ### **What we are doing to prevent it from happening again:** Safeguards have been put in place to prevent in-use datasource removal from configuration.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Αντιμετωπίζουμε ένα θέμα με την πρόσβαση του επιθεωρητή Appium στα κέντρα δεδομένων ΗΠΑ-Δύσης-1, ΕΕ-Κεντρικής-1 και ΗΠΑ-Ανατολής-4. Ερευνούμε.
Αναγνωρίσαμε τη βασική αιτία και αναπτύξαμε μια λύση για αυτό το ζήτημα. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
- Ναι. Τετάρτη 1 Ιουλίου 2026, 09:37 – 12:46 UTC Τι έγινε; Η λειτουργία Appium Inspector, που χρησιμοποιείται κατά τη διάρκεια πραγματικών συσκευών ζωντανών δοκιμών, δεν κατέστη διαθέσιμη μετά από προγραμματισμένη ανάπτυξη UI. Οι χρήστες που επιχείρησαν να χρησιμοποιήσουν το χαρακτηριστικό κατά τη διάρκεια μιας ζωντανής δοκιμής παρουσιάστηκαν με ένα σφάλμα 500, διαταράσσοντας την ενεργή συνεδρία δοκιμών τους. Οι αυτόματοι αγωγοί δοκιμών δεν επηρεάστηκαν. Γιατί συνέβη αυτό; Μια καθημερινή αναβάθμιση μιας βιβλιοθήκης του κεντρικού περιβάλλοντος εισήγαγε μια ασυμβατότητα με τη λογική απόδοσης του επιθεωρητή του Appium. Η προηγούμενη έκδοση της βιβλιοθήκης ανεχόταν το μοτίβο, αλλά η ενημερωμένη έκδοση όχι. Το θέμα δεν πιάστηκε πριν από την ανάπτυξη λόγω της ανεπαρκούς κάλυψης των δοκιμών από το τέλος έως το τέλος για το συγκεκριμένο χαρακτηριστικό. Πώς το φτιάξαμε; Επιστρέψαμε το UI στην τελευταία γνωστή έκδοση εργασίας για να επαναφέρουμε το χαρακτηριστικό αμέσως και στη συνέχεια αναπτύξαμε μια στοχευμένη λύση για το ασυμβατότητα. Τι κάνουμε για να το αποτρέψουμε από το να συμβεί ξανά; Προσθέτουμε end-to-end κάλυψη των δοκιμών για το χαρακτηριστικό Appium Inspector για να διασφαλιστεί ότι επικυρώνεται αυτόματα πριν από τις μελλοντικές αποστολές.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Στις 24 Ιουνίου μεταξύ 08:28 UTC και 15:32 UTC, βιώσαμε αποτυχίες δοκιμών Real Device που έπληξαν το Appium και το Access API στα data centers των ΗΠΑ, της Δύσης των ΗΠΑ και της ΕΕ. Το θέμα αυτό έχει επιλυθεί. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
- Ναι. Τετάρτη 24 Ιουνίου 2026, 09:42 UTC - 15:45 UTC. Τι έγινε; Οι πραγματικές συνεδρίες δοκιμών συσκευών που χρησιμοποιούν το Appium και το Access API παρουσίασαν αυξημένα ποσοστά σφαλμάτων στα κέντρα δεδομένων των ΗΠΑ, της Δύσης των ΗΠΑ και της ΕΕ. Οι συνεδρίες συγχρονίζονταν μετά από περίπου 90 δευτερόλεπτα ή κολλούσαν στην κατάσταση "Connecting", εμποδίζοντάς τους να κλείσουν. Γιατί συνέβη αυτό; Εισήχθη ένα ελάττωμα του προϊόντος, προκαλώντας την αποτυχία των δοκιμασιών Real Device να ξεκινήσουν και να εμποδίσουν το κλείσιμο των ενεργών συνεδριών. Πώς το φτιάξαμε; Επιστροφή σε μια σταθερή έκδοση. Τι κάνουμε για να το αποτρέψουμε από το να συμβεί ξανά; Βελτίωση της παρακολούθησης και της ειδοποίησης και ενίσχυση της επικύρωσης μετά την ανάπτυξη.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
Γύρω στις 3:51 ΠΜ UTC αρχίσαμε να βιώνουμε χαμηλότερη διαθεσιμότητα συσκευών iOS στο κέντρο δεδομένων ΕΕ-Κεντρικής. Η ομάδα μας ερευνά ενεργά τη βασική αιτία και εργάζεται προς την επίλυση.
Έχουμε βιώσει μη διαθεσιμότητα συσκευών στο κέντρο δεδομένων μας ΕΕ-Κεντρικό-1 και έχουμε εντοπίσει τη βασική αιτία. Έχουμε λάβει διορθωτικά μέτρα και παρακολουθούμε επί του παρόντος.
Μετά τη λήψη διορθωτικών μέτρων, βλέπουμε τώρα πραγματικές συσκευές διαθέσιμες για δοκιμές στο κέντρο δεδομένων ΕΕ-Κεντρικό-1. Όλες οι υπηρεσίες είναι πλήρως λειτουργικές.
- Ναι. Πέμπτη 18 Ιουνίου 2026, 03:45 UTC - 06:45 UTC. Τι έγινε; Περίπου το 7% των συσκευών iOS στο κέντρο δεδομένων της ΕΕ δεν ήταν προσωρινά διαθέσιμες για τις συνεδρίες δοκιμών πελατών μετά την απώλεια της ισχύος στο ράφι φιλοξενίας τους. Γιατί συνέβη αυτό; Το ηλεκτρικό κύκλωμα που τροφοδοτούσε την πληγείσα σχάρα υπερέβαινε την ικανότητά του, και ένας προστατευτικός διακόπτης σκόνταψε για να διαφυλάξει την ισχύ κοπής των γραμμών στις συσκευές αυτής της σχάρας μέχρι να αποκατασταθεί το κύκλωμα. Πώς το φτιάξαμε; Το επηρεαζόμενο κύκλωμα επαναρυθμίστηκε και η ισχύς αποκαταστάθηκε στο ράφι, επιστρέφοντας τις συσκευές στην εξυπηρέτηση πελατών. Τι κάνουμε για να το αποτρέψουμε από το να συμβεί ξανά; Αναδιανέμουμε ηλεκτρικό φορτίο σε επηρεαζόμενα ράφια, προσθέτουμε παρακολούθηση χωρητικότητας με ειδοποιήσεις έγκαιρης προειδοποίησης μπροστά από τα όρια κυκλωμάτων, και εισάγουμε μια αναθεώρηση της χωρητικότητας πριν από την εφαρμογή νέων συσκευών σε ένα ράφι.
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.
We are experiencing an issue where the US-EAST data center is currently unavailable. We are investigating.
We are continuing to investigate this issue.
We have identified the root cause and are working on implementing a fix.
Access has been restored to the US-EAST data center. We are monitoring.
After taking remedial action, access to the US-EAST data center is fully restored. This incident is resolved.
### **Dates:** Monday, June 1st 2026, 13:06 UTC - 15:42 UTC. ### **What happened:** Customers served by the US-EAST-4 region were unable to authenticate or start new test sessions because an incomplete TLS certificate chain was deployed to the core directory services. ### **Why it happened:** A certificate extraction script defect silently truncated the certificate chain after the certificate authority transitioned to a longer hierarchy. ### **How we fixed it:** Reverted the certificate rotation and re-applied the previous known ,good certificate to restore authentication services. ### **What we are doing to prevent it from happening again:** Implementing pre-deployment certificate chain validation, adding active monitoring, and fixing the script's chain-length limitations.
Between May 13th 18:47 UTC and May 15th 9:23 UTC, we experienced test details not appearing in the dashboard of the US-East Data Center. This issue has been resolved. All services are fully operational.
### **Dates:** Wednesday, May 13th 2026, 18:47 UTC - Friday, May 15th 2026, 09:23 UTC. ### **What happened:** Customers were unable to access test run summaries for Real Device Cloud \(RDC\) jobs because events stopped publishing to the jobs Kafka topic in US-EAST. ### **Why it happened:** An authentication key used by the message producer unexpectedly lost its permissions during an account cleanup. ### **How we fixed it:** Manually restored the required permissions to re-establish the connection and resume service. ### **What we are doing to prevent it from happening again:** Migrating to a permanent service account, implementing a Dead Letter Queue \(DLQ\) for the jobs Kafka topic, and replaying the missing events to restore customer data.
Between April 23rd 22:44 and April 24th 15:25 UTC, there was a technical issue that affected video recordings for tests running on macOS 15 and iOS within our EU and US-West Data Center. We identified the issue and deployed a fix. All systems are now fully operational.
### **Dates:** Thursday, April 23rd 2026, 22:43 UTC - Friday, April 24th 2026, 15:29 UTC ### **What happened:** Video assets were missing for virtual iOS simulator tests on ARM and macOS ARM desktop tests in the US-West and EU data centers. ### **Why it happened:** A product defect was introduced resulting in a screen capture failure. ### **How we fixed it:** We performed a rollback to a stable version. ### **What we are doing to prevent it from happening again:** We are improving monitoring & alerting to enhance our post deployment validation.
