Ιστορικό διακοπών του Circle Ci

1. 21 Οκτωβρίου 2026 στις 7:31 μ.μ. UTCidentified

   Ορισμένοι χρήστες μπορεί να δουν αυξημένους χρόνους αναμονής για θέσεις εργασίας gen2 Docker λόγω προβλημάτων χωρητικότητας.

2. 21 Οκτωβρίου 2026 στις 8:03 μ.μ. UTCidentified

   Προσθέτουμε πρόσθετη ικανότητα για να βοηθήσουμε στον μετριασμό του ζητήματος. Σημείωση: Βλέπουμε ακόμα καθυστερήσεις μέχρι 20 λεπτά σε 2xlarge.

3. 21 Οκτωβρίου 2026 στις 8:22 μ.μ. UTCidentified

   Οι ώρες αναμονής για 2 μεγάλες δουλειές docker αναρρώνουν. Θα συνεχίσουμε να ενημερώνουμε καθώς η χωρητικότητα έρχεται σε απευθείας σύνδεση.

4. 21 Οκτωβρίου 2026 στις 8:35 μ.μ. UTCidentified

   Οι ώρες αναμονής για 2 μεγάλες δουλειές είναι τώρα κάτω από 60 δευτερόλεπτα. Οι χρόνοι αναμονής για άλλα μεγέθη πόρων δεν επηρεάστηκαν από αυτό το περιστατικό και παραμένουν κάτω από 10 δευτερόλεπτα.

5. 21 Οκτωβρίου 2026 στις 8:40 μ.μ. UTCmonitoring

   Έχουμε δει μια πλήρη ανάκαμψη των ωρών αναμονής για τις θέσεις εργασίας docker.

6. 21 Οκτωβρίου 2026 στις 8:54 μ.μ. UTCresolved

   Χρόνοι αναμονής για το Gen2 Οι εργασίες Docker έχουν ανακάμψει και οι θέσεις εργασίας λειτουργούν μέσα σε κανονικές ώρες αναμονής.

7. 22 Οκτωβρίου 2026 στις 11:29 μ.μ. UTCpostmortem

   Περίληψη Από τις 15:44 έως τις 20:55 UTC στις 21 Οκτωβρίου, οι πελάτες που εκτελούσαν τις θέσεις εργασίας Gen 2 Docker είδαν αυξημένες ώρες αναμονής για την έναρξη των εργασιών τους. Οι καθυστερήσεις ήταν μεγαλύτερες στην τάξη των 2xlarge πόρων, όπου οι θέσεις εργασίας περίμεναν μέχρι και 20 λεπτά. Το περιστατικό προκλήθηκε από περιορισμένη διαθεσιμότητα των περιπτώσεων cloud που είχαμε διαμορφώσει για να καλύψει τη ζήτηση, ιδιαίτερα για 2xlarge θέσεις εργασίας. Σε απάντηση, η ομάδα μηχανικών μας διαμόρφωσε επιπλέον τύπους περιπτώσεων, διαμόρφωσε επιπλέον συστάδες Gen 2 Docker. Μέχρι τις 20:55 UTC, οι χρόνοι αναμονής είχαν επιστρέψει στο κανονικό και το περιστατικό είχε επιλυθεί. Μετά την επίλυση του συμβάντος, διευρύναμε τον στόλο μας του Gen 2 Docker σε επιπλέον περιοχές νεφών, και συνεχίζουμε ενεργά να υψώνουμε το ανάστημά μας σε επιπλέον περιοχές νεφών για να αποτρέψουμε παρόμοια περιστατικά στο μέλλον. Η αρχική σελίδα κατάστασης μπορεί να βρεθεί εδώ: [21 Οκτωβρίου - Αυξημένη ώρα αναμονής Docker gen2](https://status.circleci.com/incidents/5jb50gh55gtj). Ιστορικό Όταν το CircleCI εκτελεί μια δουλειά Docker, την προγραμματίζουμε σε μια από τις πολλές ομάδες των περιπτώσεων σύννεφο, και κάθε περίπτωση είναι σε θέση να εκτελέσει πολλαπλές απομονωμένες θέσεις εργασίας. Προγραμματισμός μιας εργασίας σε μια περίπτωση cloud είναι ένα κλασικό [“Bin packing problem”] (https://en.wikipedia.org/wiki/Bin packing problem): εύρεση διαθέσιμη ικανότητα που ταιριάζει με την CPU, τη μνήμη και την αποθήκευση των πόρων που ζητούνται κατηγορία”. Μεγαλύτερες κατηγορίες πόρων όπως 2xlarge είναι πιο δύσκολο να χωρέσει από τις μικρότερες, οι οποίες συσκευάζονται μαζί πιο σφιχτά. Παρέχουμε cloud περιπτώσεις χρησιμοποιώντας μια καταταγμένη λίστα των τύπων περιπτώσεων. Αν ο πάροχος cloud δεν μπορεί να προμηθεύσει την πρώτη μας επιλογή, επιστρέφουμε στον επόμενο τύπο της λίστας. Διατηρούμε περαιτέρω ένα ελάχιστο μέγεθος στόλου: ένας ελάχιστος αριθμός περιπτώσεων παραμένουν σε λειτουργία, έτσι ώστε να μην εγκαταλείψουμε την ικανότητα όταν η ζήτηση είναι χαμηλή. Πάνω από το ελάχιστο μέγεθος του στόλου, προσθέτουμε περιπτώσεις καθώς αυξάνεται η ζήτηση. Όταν υπάρχει ανεπαρκής ικανότητα για την εκτέλεση φόρτου εργασίας, παρακολουθούμε την εργασία μέχρι να γίνει διαθέσιμη η χωρητικότητα. Τι συνέβη \(Όλες τις φορές UTC\) Ξεκινώντας από τις 15:44 στις 21 Οκτωβρίου, η ζήτηση για τη γενική 2xlarge κατηγορία πόρων αυξήθηκε απότομα, και δεν προμήθευσε επιπλέον ικανότητα αρκετά γρήγορα για να συμβαδίσει. Η ομάδα μας άρχισε να ερευνά. Μέχρι τις 19:25, οι χρόνοι αναμονής για την κατηγορία πόρων Gen 2xlarge είχαν φτάσει τα 20 λεπτά, και οι χρόνοι αναμονής για άλλες κατηγορίες πόρων είχαν αυξηθεί επίσης. Μέχρι τις 19:56, η ομάδα μηχανικών μας είχε διαμορφώσει επιπλέον τύπους περιπτώσεων στο στόλο της Gen 2, προκειμένου να αποκτήσει περισσότερη χωρητικότητα σε απευθείας σύνδεση, και μέχρι τις 19:59, προμηθεύαμε αυτούς τους τύπους περιπτώσεων. Στις 20:11, προσθέσαμε αρκετές επιπλέον συστάδες Gen 2, και αυξήσαμε το ελάχιστο μέγεθος στόλου σε αυτές τις συστάδες. Μέχρι τις 20:35, ο αριθμός των θέσεων εργασίας σε αναμονή επέστρεψε στα κανονικά επίπεδα, και μέχρι τις 20:41, 95% των 2xlarge θέσεων εργασίας άρχισαν μέσα σε 4 δευτερόλεπτα. Λύσαμε το περιστατικό στις 20:55. Μετά την επίλυση αυτού του περιστατικού, προσθέσαμε επιπλέον περιοχές νεφών για θέσεις εργασίας Docker για να καταστήσουμε διαθέσιμη περισσότερη ικανότητα. Μελλοντική Πρόληψη και Βελτίωση της Διαδικασίας Έχουμε ήδη λάβει τα ακόλουθα μέτρα για να βελτιώσουμε τους χρόνους έναρξης της εργασίας, συμπεριλαμβανομένης της δυναμικότητας εφοδιασμού από περισσότερα μέρη, της διατήρησης μεγαλύτερης ικανότητας για μεγάλες κατηγορίες πόρων και της εφαρμογής ταχύτερης παροχής. ** Προσθέσαμε επιπλέον περιφέρειες για θέσεις εργασίας Docker.** Προσθέσαμε πρόσφατα επιπλέον περιοχές νεφών για θέσεις εργασίας στις μηχανές, και τώρα έχουμε κάνει το ίδιο για θέσεις εργασίας Docker. **Θα συνεχίσουμε ενεργά την προσθήκη πρόσθετων περιοχών cloud τόσο για το Docker όσο και για τις εργασίες Machine**. ** Έχουμε προσθέσει επιπλέον Gen 2 συστάδες **. Διαμορφώσαμε αρκετές πρόσθετες συστάδες Gen 2 για να προγραμματίσουν τις θέσεις εργασίας πιο γρήγορα, και να κάνουν πιο συνολική ικανότητα διαθέσιμη. ** Έχουμε επεκτείνει το σύνολο των τύπων cloud case που χρησιμοποιούμε και έχουμε αυξήσει το ελάχιστο μέγεθος του στόλου μας. ** Έχουμε ρυθμίσει επιπλέον τύπους περιπτώσεων. Αυξήσαμε επίσης το ελάχιστο μέγεθος στόλου για να ανταποκριθεί η Gen 2 στην τρέχουσα βασική ζήτηση. ** Έχουμε τροποποιήσει το πρόγραμμα εργασίας μας για να ιεραρχήσει τον προγραμματισμό των μεγαλύτερων κατηγοριών πόρων. ** Έχουμε αλλάξει τον τρόπο με τον οποίο προγραμματίζουμε τις θέσεις εργασίας για να εξισορροπούμε τους χρόνους αναμονής με πιο δίκαιο τρόπο σε κατηγορίες πόρων, και να πακετάρουμε τις θέσεις εργασίας πιο αποτελεσματικά σε διαθέσιμες περιπτώσεις. Συμπέρασμα . . . Η εμπειρία των πελατών είναι η πρώτη μας προτεραιότητα, και δεσμευόμαστε να βελτιώνουμε συνεχώς την αξιοπιστία των συστημάτων μας ώστε να ταιριάζουν με την εμπιστοσύνη που μας εμπιστεύονται οι πελάτες μας. Ευχαριστούμε τους πελάτες μας για την υπομονή τους ενώ η ομάδα μας εργάστηκε για να επιλύσει αυτό το περιστατικό. Παρακαλούμε επικοινωνήστε με την ομάδα υποστήριξης μας με οποιεσδήποτε ερωτήσεις ή ανησυχίες.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 20 Οκτωβρίου 2026 στις 3:58 μ.μ. UTCinvestigating

   Βλέπουμε αυξημένους χρόνους αναμονής για κάποιες θέσεις εργασίας macOS χρησιμοποιώντας τη μεγάλη τάξη πόρων m4pro. Ερευνούμε και θα σας ενημερώσουμε σύντομα. Σας ευχαριστώ για την υπομονή σας.

2. 20 Οκτωβρίου 2026 στις 4:32 μ.μ. UTCmonitoring

   Οι πελάτες που εκτελούν macOS θέσεις εργασίας για το m4pro.μεγάλη κατηγορία πόρων εξακολουθούν να βλέπουν αυξημένες ώρες αναμονής, με κάποιες θέσεις εργασίας που περιμένουν μέχρι 30 λεπτά για να ξεκινήσει. Συνεχίζουμε να το παρακολουθούμε και θα μοιραστούμε μια νέα ενημέρωση σύντομα.

3. 20 Οκτωβρίου 2026 στις 5:02 μ.μ. UTCmonitoring

   Οι ώρες αναμονής για m4pro.large εξακολουθούν να είναι αυξημένες λόγω της μεγάλης ζήτησης. Όλα τα m4pro.medium είναι φυσιολογικά. Παρακολουθούμε ενεργά, εκτιμούμε την υπομονή.

4. 20 Οκτωβρίου 2026 στις 5:31 μ.μ. UTCmonitoring

   Χρόνοι αναμονής για macOS θέσεις εργασίας στην m4pro.μεγάλη τάξη πόρων αναρρώνουν. Εργασίες χρησιμοποιώντας Xcode 27.0 περιμένουν τώρα περίπου ~3.5 λεπτά κατά μέσο όρο, κάτω από περίπου ~40 λεπτά στην κορυφή. Εργασίες που χρησιμοποιούν Xcode 26.6 και 26.4.1 εξακολουθούν να λειτουργούν μέσω ενός backlog, το οποίο είναι εκκαθάριση. Οι ώρες αναμονής στο m4pro.medium είναι φυσιολογικές. Θα μοιραστούμε άλλη ενημέρωση μόλις συνεχίσουμε να παρακολουθούμε.

5. 20 Οκτωβρίου 2026 στις 6:14 μ.μ. UTCresolved

   Χρόνοι αναμονής για macOS θέσεις εργασίας στο m4pro.μεγάλη κατηγορία πόρων έχουν επιστρέψει στο φυσιολογικό. Σας ευχαριστούμε για την υπομονή σας, ενώ το backlogs καθαρίσει.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 14 Οκτωβρίου 2026 στις 2:47 μ.μ. UTCinvestigating

   Από τις 14:00 περίπου UTC, οι πελάτες που εκτελούν macOS θέσεις εργασίας που χρησιμοποιούν Xcode 26.6.0 για την M4 Pro μεγάλη κατηγορία πόρων βιώνουν καθυστερήσεις ξεκινώντας θέσεις εργασίας. Οι ώρες αναμονής έχουν φτάσει τα 30 λεπτά ή και περισσότερο. Σας ευχαριστώ για την υπομονή σας ενώ οι μηχανικοί μας ερευνούν. Θα παρέχουμε άλλη ενημέρωση μέχρι τις 15:30 UTC.

2. 14 Οκτωβρίου 2026 στις 3:17 μ.μ. UTCidentified

   Καθυστέρηση που ξεκινά macOS θέσεις εργασίας που χρησιμοποιούν Xcode 26.6.0 έχουν ανακάμψει. Από περίπου 15:11 UTC, macOS θέσεις εργασίας που χρησιμοποιούν Xcode 26.4 βιώνουν καθυστερήσεις που ξεκινούν, με ώρες αναμονής περίπου 30 λεπτά. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για την επίλυση αυτού. Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 15:45 UTC.

3. 14 Οκτωβρίου 2026 στις 4:01 μ.μ. UTCresolved

   Μεταξύ περίπου 14:00 UTC και 15:51 UTC στις 14 Οκτωβρίου, οι πελάτες που εκτελούν macOS θέσεις εργασίας που χρησιμοποιούν Xcode 26.6.0 ή Xcode 26.4 παρουσίασαν καθυστερήσεις στην έναρξη εργασιών. Από τις 14:00 περίπου UTC, θέσεις εργασίας που χρησιμοποιούν Xcode 26.6.0 στη μεγάλη κατηγορία πόρων M4 Pro περίμεναν 30 λεπτά ή περισσότερο για να ξεκινήσουν, και αυτές οι καθυστερήσεις ανέκαμψαν περίπου στις 15:12 UTC. Από περίπου 15:11 UTC, θέσεις εργασίας που χρησιμοποιούν Xcode 26.4 περίμεναν περίπου 30 λεπτά για να ξεκινήσουν. Το ζήτημα έχει επιλυθεί και όλες οι επηρεαζόμενες λειτουργίες έχουν επανέλθει στο φυσιολογικό. Σας ευχαριστούμε για την υπομονή σας, ενώ η ομάδα μας εργάστηκε για την εφαρμογή μιας ρύθμισης.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 9 Οκτωβρίου 2026 στις 11:33 π.μ. UTCidentified

   Υπάρχει μια καθυστέρηση στην υποδομή δεδομένων μας που προκαλεί καθυστερήσεις πριν από την κατασκευή των δεδομένων και ορισμένες κοινοποιήσεις γίνονται ορατές. Δουλεύουμε πάνω σε έναν μετριασμό.

2. 9 Οκτωβρίου 2026 στις 1:00 μ.μ. UTCidentified

   Τι έχει αντίκτυπο: Οι πελάτες ενεργοποιούν αγωγούς, και οι πελάτες βασίζονται σε εξόδους webhooks και email και Slack ειδοποιήσεις. Τι να περιμένεις; Από τις 11:15 UTC: - Οι αγωγοί εξακολουθούν να δημιουργούνται όσο αυτό είναι σε εξέλιξη αλλά δεν έχει ακόμη επεξεργαστεί, έτσι η επανεκκίνηση μπορεί να οδηγήσει σε διπλούς αγωγούς. - Εξερχόμενη webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν αποστέλλονται. - Η κατάσταση του αγωγού μπορεί να μην είναι ορατή. - Τα δεδομένα της χρήσης θα είναι μπαγιάτικα. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για την επίλυση αυτού. Επόμενη ενημέρωση: Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 13:30 UTC.

3. 9 Οκτωβρίου 2026 στις 1:30 μ.μ. UTCidentified

   Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Τι έχει αντίκτυπο: Οι πελάτες ενεργοποιούν αγωγούς, και οι πελάτες βασίζονται σε εξόδους webhooks και email και Slack ειδοποιήσεις. Τι να περιμένεις; - Από τις 13:00 περίπου UTC, οι αγωγοί επεξεργάζονται και πάλι και οι θέσεις εργασίας αρχίζουν. - Οι περισσότερες θέσεις εργασίας αρχίζουν σε περίπου 4 λεπτά, και μερικές περιμένουν μέχρι περίπου 10 λεπτά. Οι αγωγοί που ενεργοποιήθηκαν κατά τη διάρκεια του συμβάντος εξακολουθούν να υφίστανται επεξεργασία και μπορεί να πάρει περισσότερο χρόνο για να ξεκινήσει. - Εξερχόμενη webhooks και ειδοποιήσεις έχουν επαναληφθεί. - Οι αγωγοί εξακολουθούν να επεξεργάζονται από το backlog, οπότε η επανεκκίνηση μπορεί να οδηγήσει σε διπλούς αγωγούς. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για την επίλυση αυτού. Επόμενη ενημέρωση: Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 14:00 UTC.

4. 9 Οκτωβρίου 2026 στις 2:00 μ.μ. UTCidentified

   Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Τι έχει αντίκτυπο Πελάτες που εκτελούν ροές εργασίας και θέσεις εργασίας, και οι πελάτες που βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης του Έργου. Τι να περιμένεις; - Οι αγωγοί επεξεργάζονται ξανά, συμπεριλαμβανομένων αυτών που πυροδοτήθηκαν κατά τη διάρκεια του συμβάντος. - Από περίπου 13:25 UTC, οι ροές εργασίας και οι θέσεις εργασίας έχουν αρχίσει με την αύξηση των καθυστερήσεων, καθώς εργαζόμαστε μέσω του backlog. Οι περισσότερες θέσεις εργασίας αρχίζουν αυτή τη στιγμή μέσα σε περίπου 10 λεπτά, και μερικές περιμένουν μέχρι περίπου 25 λεπτά. - Περιμένουμε να επεξεργαστούμε αυτό το ιστορικό μέχρι τις 14:35 UTC περίπου. - Οι ροές εργασίας από τους αγωγούς που πυροδοτήθηκαν κατά τη διάρκεια του συμβάντος περιμένουν ακόμα να ξεκινήσουν, οπότε η επανέναρξη μπορεί να οδηγήσει σε διπλές ροές εργασίας. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για την επίλυση αυτού. Επόμενη ενημέρωση Θα παρέχουμε άλλη ενημέρωση μέχρι τις 14:30 UTC.

5. 9 Οκτωβρίου 2026 στις 2:29 μ.μ. UTCidentified

   Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Τι έχει αντίκτυπο Πελάτες που εκτελούν ροές εργασίας και θέσεις εργασίας, και οι πελάτες που βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης του Έργου. Τι να περιμένεις; - Καθυστέρηση στην έναρξη των ροών εργασίας και οι θέσεις εργασίας βελτιώνονται. Οι περισσότερες θέσεις εργασίας αρχίζουν τώρα μέσα σε περίπου 3 λεπτά, κάτω από περίπου 10 λεπτά στις 13:50 UTC. - Μερικές ροές εργασίας από αγωγούς που πυροδοτήθηκαν κατά τη διάρκεια του συμβάντος περιμένουν μέχρι περίπου 40 λεπτά για να ξεκινήσουν. - Το να δουλέψεις μέσα από την πλάτη παίρνει λίγο περισσότερο απ' ότι αναμενόταν. Τώρα περιμένουμε να το καθαρίσουμε περίπου στις 14:45 UTC. - Οι ροές εργασίας από τους αγωγούς που πυροδοτήθηκαν κατά τη διάρκεια του συμβάντος περιμένουν ακόμα να ξεκινήσουν, οπότε η επανέναρξη μπορεί να οδηγήσει σε διπλές ροές εργασίας. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για την επίλυση αυτού. Επόμενη ενημέρωση Θα σας παρέχουμε μια νέα ενημέρωση μέχρι τις 15:00 UTC.

6. 9 Οκτωβρίου 2026 στις 2:43 μ.μ. UTCidentified

   Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Μεταξύ περίπου 13:00 UTC και 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. Τι έχει αντίκτυπο Πελάτες που εκτελούν ροές εργασίας και θέσεις εργασίας, και οι πελάτες που βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης του Έργου. Τι να περιμένεις; - Οι backlog των ροών εργασίας από αγωγούς πυροδοτήθηκε κατά τη διάρκεια του συμβάντος εκκαθαρίστηκε περίπου στις 14:40 UTC. - Οι περισσότερες δουλειές αρχίζουν τώρα σε περίπου 30 δευτερόλεπτα, και μερικές περιμένουν μέχρι περίπου 3 λεπτά. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας συνεχίζουν να εργάζονται για το υποκείμενο ζήτημα. Επόμενη ενημέρωση Θα παρέχουμε άλλη μια ενημέρωση έως τις 15:10 UTC.

7. 9 Οκτωβρίου 2026 στις 2:54 μ.μ. UTCmonitoring

   Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Μεταξύ περίπου 13:00 UTC και 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. Τι έχει αντίκτυπο Πελάτες που εκτελούν ροές εργασίας και θέσεις εργασίας, και οι πελάτες που βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης του Έργου. Τι να περιμένεις; - Το παρελθόν των αγωγών και των ροών εργασίας από το περιστατικό έχει εκκαθαριστεί. - Από περίπου 14:45 UTC, οι περισσότερες ροές εργασίας και θέσεις εργασίας αρχίζουν μέσα σε περίπου 15 δευτερόλεπτα, και οι ώρες έναρξης συνεχίζουν να επιστρέφουν στο κανονικό. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Σας ευχαριστώ για την υπομονή σας ενώ οι μηχανικοί μας παρακολουθούν την ανάρρωση. Επόμενη ενημέρωση Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 15:20 UTC.

8. 9 Οκτωβρίου 2026 στις 3:32 μ.μ. UTCmonitoring

   Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Μεταξύ περίπου 13:00 UTC και 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. Τι έχει αντίκτυπο Πελάτες που βλέπουν αγωγούς, ροές εργασίας και θέσεις εργασίας στο CircleCI UI, και οι πελάτες που βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης του Έργου. Τι να περιμένεις; - Οι ροές εργασίας και οι δουλειές τρέχουν στην ώρα τους. - Το CircleCI UI είναι 30 λεπτά πίσω. Νέες ροές εργασίας και αλλαγές κατάστασης μπορεί να πάρει τόσο πολύ για να εμφανιστεί. - Οι μηχανικοί μας δουλεύουν ενεργά για να επιταχύνουν την επεξεργασία ώστε να προλάβουν την έρευνα. - Παρακαλώ αποφύγετε την επανεκκίνηση ροών εργασίας που δεν εμφανίζονται ακόμα στο UI, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Σας ευχαριστούμε για την υπομονή σας ενώ οι μηχανικοί μας εργάζονται για να μειώσουν αυτή την καθυστέρηση. Επόμενη ενημέρωση Θα σας παρέχουμε άλλη μια ενημέρωση μέχρι τις 16:00 UTC.

9. 9 Οκτωβρίου 2026 στις 4:02 μ.μ. UTCmonitoring

   Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Μεταξύ περίπου 13:00 UTC και 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. Τι έχει αντίκτυπο Πελάτες που εκτελούν ροές εργασίας και θέσεις εργασίας, πελάτες που βλέπουν αγωγούς, ροές εργασίας και θέσεις εργασίας στο CircleCI UI, και πελάτες που βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης του Έργου. Τι να περιμένεις; - Από τις 15:15 UTC περίπου, οι ροές εργασίας και οι θέσεις εργασίας αρχίζουν με την αύξηση των καθυστερήσεων. Οι περισσότερες θέσεις εργασίας αρχίζουν σήμερα μέσα σε περίπου 4 λεπτά, και μερικές περιμένουν μέχρι περίπου 20 λεπτά. - Το CircleCI UI παραμένει περίπου 30 λεπτά πίσω κατά μέσο όρο, και μερικές ενημερώσεις αργούν. Νέες ροές εργασίας και αλλαγές κατάστασης μπορεί να πάρει τόσο πολύ για να εμφανιστεί. - Παρακαλώ αποφύγετε την επανεκκίνηση ροών εργασίας που δεν εμφανίζονται ακόμα στο UI, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για τη μείωση αυτών των καθυστερήσεων. Επόμενη ενημέρωση Θα παρέχουμε μια νέα ενημέρωση μέχρι τις 16:30 UTC.

10. 9 Οκτωβρίου 2026 στις 4:32 μ.μ. UTCmonitoring

    Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Μεταξύ περίπου 13:00 UTC και 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. Από τις 15:15 περίπου UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκινούν πάλι με καθυστερήσεις. Τι έχει αντίκτυπο Πελάτες που εκτελούν ροές εργασίας και θέσεις εργασίας, πελάτες που βλέπουν αγωγούς, ροές εργασίας και θέσεις εργασίας στο CircleCI UI, και πελάτες που βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης του Έργου. Τι να περιμένεις; - Καθυστέρηση στην έναρξη της ροής εργασίας και οι θέσεις εργασίας έχουν σταματήσει να αυξάνονται και αρχίζουν να χαλαρώνουν. Οι περισσότερες θέσεις εργασίας αρχίζουν μέσα σε περίπου 4 λεπτά, και μερικές περιμένουν μέχρι περίπου 25 λεπτά. - Το CircleCI UI είναι τώρα περίπου 20 λεπτά πίσω, κάτω από περίπου 30 λεπτά. Νέες ροές εργασίας και αλλαγές κατάστασης μπορεί να πάρει τόσο πολύ για να εμφανιστεί. - Παρακαλώ αποφύγετε την επανεκκίνηση ροών εργασίας που δεν εμφανίζονται ακόμα στο UI, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για τη μείωση αυτών των καθυστερήσεων. Επόμενη ενημέρωση Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 17:00 UTC.

11. 9 Οκτωβρίου 2026 στις 5:06 μ.μ. UTCmonitoring

    Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Μεταξύ περίπου 13:00 UTC και 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. Από τις 15:15 περίπου UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκινούν πάλι με καθυστερήσεις. Τι έχει αντίκτυπο Πελάτες που εκτελούν ροές εργασίας και θέσεις εργασίας, πελάτες που βλέπουν αγωγούς, ροές εργασίας και θέσεις εργασίας στο CircleCI UI, και πελάτες που βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης του Έργου. Τι να περιμένεις; - Καθυστέρηση στην έναρξη των ροών εργασίας και οι θέσεις εργασίας παραμένουν σταθερές. Οι περισσότερες δουλειές ξεκινούν μέσα σε περίπου 4 λεπτά, και μερικές περιμένουν μέχρι περίπου 8 λεπτά, κάτω από περίπου 25 λεπτά. - Το CircleCI UI παραμένει περίπου 20 λεπτά πίσω κατά μέσο όρο, και κάποιες ενημερώσεις αργούν. Νέες ροές εργασίας και αλλαγές κατάστασης μπορεί να πάρει τόσο πολύ για να εμφανιστεί. - Παρακαλώ αποφύγετε την επανεκκίνηση ροών εργασίας που δεν εμφανίζονται ακόμη στο UI, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για τη μείωση αυτών των καθυστερήσεων. Επόμενη ενημέρωση Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 17:30 UTC.

12. 9 Οκτωβρίου 2026 στις 5:34 μ.μ. UTCidentified

    Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Μεταξύ περίπου 13:00 UTC και 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. Από τις 15:15 περίπου UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκινούν πάλι με καθυστερήσεις. Τι έχει αντίκτυπο Οι πελάτες ενεργοποιούν αγωγούς και εκτελούν ροές εργασίας και θέσεις εργασίας, οι πελάτες βλέπουν αγωγούς, ροές εργασίας και θέσεις εργασίας στο CircleCI UI, και οι πελάτες βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης Έργου. Τι να περιμένεις; - Από τις 17:00 περίπου UTC, οι καθυστερήσεις έχουν αυξηθεί σημαντικά. Οι περισσότερες θέσεις εργασίας χρειάζονται τώρα περίπου 12 λεπτά για να ξεκινήσουν, και μερικές περιμένουν μέχρι περίπου 30 λεπτά. - Από τις 17:15 UTC, μερικές θέσεις εργασίας αποτυγχάνουν να ξεκινήσουν. - Οι αγωγοί επεξεργάζονται πιο αργά, οπότε κάποιοι μπορεί να αργήσουν να ξεκινήσουν. - Το CircleCI UI είναι πάνω από μια ώρα πίσω. Νέες ροές εργασίας και αλλαγές κατάστασης μπορεί να πάρει τόσο πολύ για να εμφανιστεί. - Παρακαλώ αποφύγετε την επανεκκίνηση ροών εργασίας που δεν εμφανίζονται ακόμη στο UI, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Σας ευχαριστώ για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για την επίλυση αυτού. Επόμενη ενημέρωση Θα παρέχουμε μια νέα ενημέρωση μέχρι τις 18:00 UTC.

13. 9 Οκτωβρίου 2026 στις 6:08 μ.μ. UTCidentified

    Από τις 11:15 UTC, οι πελάτες έχουν υποστεί διαταραχή στους αγωγούς και τις κοινοποιήσεις. Μεταξύ 11:15 UTC και περίπου 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και εξέρχονται webhooks και ειδοποιήσεις συναλλαγών (Slack και email) δεν εστάλησαν. Μεταξύ περίπου 13:00 UTC και 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. Από τις 15:15 περίπου UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκινούν πάλι με καθυστερήσεις. Τι έχει αντίκτυπο Οι πελάτες ενεργοποιούν αγωγούς και εκτελούν ροές εργασίας και θέσεις εργασίας, οι πελάτες βλέπουν αγωγούς, ροές εργασίας και θέσεις εργασίας στο CircleCI UI, και οι πελάτες βλέπουν τα δεδομένα χρήσης στη σελίδα χρήσης Έργου. Τι να περιμένουμε - Από τις 17:00 περίπου UTC, βλέπουμε αύξηση των καθυστερήσεων. Οι περισσότερες δουλειές τώρα χρειάζονται περίπου 25 λεπτά για να ξεκινήσουν, και μερικές περιμένουν μέχρι περίπου μια ώρα. - Από τις 17:15 UTC περίπου, κάποιες ροές εργασίας σε εξέλιξη έχουν αποτύχει και ένας μικρός αριθμός θέσεων εργασίας αποτυγχάνουν να ξεκινήσουν. - Νέοι αγωγοί βρίσκονται σε αναμονή και αργούν να ξεκινήσουν. - Το CircleCI UI είναι πάνω από μια ώρα πίσω. Νέες ροές εργασίας και αλλαγές κατάστασης μπορεί να πάρει τόσο πολύ για να εμφανιστεί. - Παρακαλώ αποφύγετε την επανεκκίνηση ροών εργασίας που δεν εμφανίζονται ακόμα στο UI, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα. - Τα δεδομένα για τη χρήση της σελίδας χρήσης του Έργου είναι τώρα μπαγιάτικα. Οι μηχανικοί μας συνεχίζουν να εργάζονται για να επιλύσουν το θέμα. Επόμενη ενημέρωση Θα παρέχουμε μια νέα ενημέρωση μέχρι τις 18:30 UTC.

14. 9 Οκτωβρίου 2026 στις 6:32 μ.μ. UTCidentified

    Τι άλλαξε από την τελευταία μας ενημέρωση; * Το CircleCI UI είναι περίπου μια ώρα πίσω, και μέχρι περίπου 90 λεπτά για μερικές ενημερώσεις. Οι ροές εργασίας και οι θέσεις εργασίας μπορεί ήδη να έχουν τρέξει, ή μπορεί να είναι σε λειτουργία, ακόμη και αν ο UI τις δείχνει ως να μην έχουν ξεκινήσει ή δεν τις δείχνουν καθόλου. * Οι εργασίες που τρέχουν αρχίζουν πιο γρήγορα. Οι περισσότεροι αρχίζουν τώρα μέσα σε περίπου 15 λεπτά, κάτω από περίπου 28 λεπτά, αν και μερικοί εξακολουθούν να περιμένουν πάνω από μια ώρα. * Οι νέοι αγωγοί καθυστερούν όλο και περισσότερο. * Μερικές ροές εργασίας εξακολουθούν να αποτυγχάνουν. Οι ροές εργασίας που δεν μπορούσαν να επεξεργαστούν εγκαίρως σημειώνονται ως αποτυχημένες. * Παρακαλώ αποφύγετε την επανεκκίνηση ροών εργασίας που δεν εμφανίζονται ακόμη στο UI, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα. Ακόμα σε εξέλιξη: Τα δεδομένα φόρτισης χρήσης στη σελίδα χρήσης του Έργου είναι μπαγιάτικα. Επόμενη ενημέρωση Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 19:00 UTC.

15. 9 Οκτωβρίου 2026 στις 6:57 μ.μ. UTCidentified

    Τι άλλαξε από την τελευταία μας ενημέρωση; * Οι δουλειές αρχίζουν γρηγορότερα. Οι περισσότεροι αρχίζουν τώρα μέσα σε περίπου 8 λεπτά, κάτω από περίπου 15 λεπτά, και η μεγαλύτερη αναμονή έχει πέσει από πάνω από μια ώρα σε περίπου 45 λεπτά. * Το CircleCI UI αρχίζει να φτάνει, αλλά είναι ακόμα πίσω. Οι ροές εργασίας και οι θέσεις εργασίας μπορεί ήδη να έχουν τρέξει, ή μπορεί να είναι σε λειτουργία, ακόμη και αν ο UI τις δείχνει ως να μην έχουν ξεκινήσει ή δεν τις δείχνουν καθόλου. * Οι αγωγοί επεξεργάζονται ταχύτερα, αλλά οι νέοι αγωγοί εξακολουθούν να καθυστερούν. Ακόμα σε εξέλιξη. * Μερικές ροές εργασίας και θέσεις εργασίας εξακολουθούν να αποτυγχάνουν. * Παρακαλώ αποφύγετε την επανεκκίνηση ροών εργασίας που δεν εμφανίζονται ακόμη στο UI, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα. * Τα δεδομένα χρέωσης χρήσης στη σελίδα χρήσης του Έργου είναι μπαγιάτικα. Επόμενη ενημέρωση Θα παρέχουμε νέα ενημέρωση μέχρι τις 19:30 UTC.

16. 9 Οκτωβρίου 2026 στις 7:29 μ.μ. UTCidentified

    Από την τελευταία μας ενημέρωση, οι θέσεις εργασίας ξεκινούν ταχύτερα: οι περισσότερες αρχίζουν τώρα μέσα σε περίπου 6 λεπτά, κάτω από περίπου 8 λεπτά. Το CircleCI UI πλησιάζει αλλά ακόμα μια ώρα πίσω. Νέοι αγωγοί υφίστανται επεξεργασία καθώς φτάνουν. Οι εργασίες μπορεί ήδη να έχουν τρέξει ακόμα και αν το UI δεν τις δείχνει ακόμα, γι 'αυτό σας παρακαλώ να αποφύγετε την επανέναρξη των ροών εργασίας που δεν εμφανίζονται στο UI. Θα παρέχουμε άλλη ενημέρωση μέχρι τις 20:00 UTC.

17. 9 Οκτωβρίου 2026 στις 8:06 μ.μ. UTCidentified

    Οι θέσεις εργασίας αρχίζουν γρηγορότερα και λιγότεροι αποτυγχάνουν: οι περισσότερες θέσεις εργασίας αρχίζουν τώρα μέσα σε περίπου 4 λεπτά, κάτω από περίπου 6 λεπτά, και οι μεγαλύτερες αναμονές έχουν πέσει από περίπου 30 λεπτά σε περίπου 20 λεπτά. Οι αγωγοί από νωρίτερα στο περιστατικό τώρα λειτουργούν. Το CircleCI UI είναι ακόμα πίσω, και μερικές παλαιότερες ενημερώσεις μπορεί να πάρει περισσότερο χρόνο για να εμφανιστεί. Οι εργασίες μπορεί ήδη να έχουν τρέξει ακόμα και αν το UI δεν τις δείχνει ακόμα, γι 'αυτό σας παρακαλώ να αποφύγετε την επανέναρξη των ροών εργασίας που δεν εμφανίζονται στο UI. Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 20:30 UTC.

18. 9 Οκτωβρίου 2026 στις 9:22 μ.μ. UTCidentified

    Από τις 20:48 UTC περίπου, δεν ξεκινούν νέες ροές εργασίας και θέσεις εργασίας. Έχουμε διακόψει προσωρινά την έναρξη νέων εργασιών, έτσι ώστε τα συστήματά μας μπορούν να καλύψουν τις εργασίες ήδη σε εξέλιξη, συμπεριλαμβανομένων καθυστερημένων ενημερώσεων για το CircleCI UI και API. Παλαιότερες ενημερώσεις εμφανίζονται τώρα στο UI και API, καθώς αυτό το backlog καθαρίζει. Νέοι αγωγοί εξακολουθούν να γίνονται δεκτοί και σε αναμονή Παρακαλώ αποφύγετε την επανέναρξη αγωγών ή ροών εργασίας κατά τη διάρκεια αυτής της περιόδου, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα μόλις επαναληφθεί η εργασία. Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 22:00 UTC.

19. 9 Οκτωβρίου 2026 στις 10:09 μ.μ. UTCidentified

    Από την τελευταία μας ενημέρωση, οι περισσότεροι από τους αγωγούς που καθυστέρησαν νωρίτερα στο περιστατικό έχουν πλέον επεξεργαστεί, και οι ροές εργασίας τους είναι σε αναμονή για να ξεκινήσουν. Οι νέες ροές εργασίας και οι θέσεις εργασίας παραμένουν σε παύση ενώ προετοιμαζόμαστε να συνεχίσουμε την εργασία με ασφάλεια. Καθυστερημένες ενημερώσεις συνεχίζουν να εμφανίζονται στο CircleCI UI και API. Παρακαλώ συνεχίστε να αποφεύγετε την επανέναρξη αγωγών ή ροών εργασίας, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα μόλις επαναληφθεί η εργασία. Θα παρέχουμε νέα ενημέρωση μέχρι τις 22:30 UTC.

20. 9 Οκτωβρίου 2026 στις 10:28 μ.μ. UTCidentified

    Από την τελευταία μας ενημέρωση, έχουμε αρχίσει σταδιακά να επαναλαμβάνουμε τις εργασίες, και κάποιες ουρές εργασίας και θέσεις εργασίας ξεκινούν και πάλι. Οι περισσότερες δουλειές σε ουρά περιμένουν ακόμα, και οι δουλειές που αρχίζουν μπορεί να περίμεναν πάνω από μια ώρα. Αυξάνουμε το ρυθμό προσεκτικά για να αποφύγουμε την υπερφόρτωση των συστημάτων μας. Καθυστερημένες ενημερώσεις συνεχίζουν να εμφανίζονται στο CircleCI UI και API. Παρακαλώ συνεχίστε να αποφεύγετε την επανέναρξη αγωγών ή ροών εργασίας, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα καθώς συνεχίζεται η εργασία σε αναμονή. Θα σας παρέχουμε μια νέα ενημέρωση μέχρι τις 23:00 UTC.

21. 9 Οκτωβρίου 2026 στις 11:00 μ.μ. UTCidentified

    Ένας μεγάλος αριθμός από ουρές ροής εργασίας και θέσεις εργασίας έχουν ξεκινήσει, και το CircleCI UI και API έχουν προφθάσει και δείχνουν ενημερώσεις κανονικά με λίγες καθυστερήσεις. Συνεχίζουμε να εργαζόμαστε μέσα από το υπόλοιπο έργο σε ουρά. Οι εργασίες από την ουρά μπορεί να περίμεναν περίπου μία ώρα ή περισσότερο για να ξεκινήσουν, και μερικές θέσεις εργασίας Linux περιμένουν μέχρι περίπου 10 λεπτά για την ικανότητα. Παρακαλώ συνεχίστε να αποφεύγετε την επανεκκίνηση ενώ η εργασία σε αναμονή συνεχίζει να επεξεργάζεται. Θα παρέχουμε νέα ενημέρωση μέχρι τις 23:30 UTC.

22. 9 Οκτωβρίου 2026 στις 11:38 μ.μ. UTCidentified

    Εξακολουθούμε να εργαζόμαστε μέσω μιας σημαντικής σειράς από ουρές και θέσεις εργασίας. Οι ώρες αναμονής βελτιώνονται, αλλά παραμένουν μεγαλύτερες από τις κανονικές και κάποιες θέσεις εργασίας έχουν περιμένει πάνω από μια ώρα. Το CircleCI UI και το API παραμένουν ενημερωμένα. Παρακαλώ αποφύγετε την επανεκκίνηση αγωγών ή ροών εργασίας ενώ το backlog καθαρίζει, καθώς αυτό μπορεί να δημιουργήσει αντίγραφα. Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 00:00 UTC.

23. 9 Οκτωβρίου 2026 στις 11:59 μ.μ. UTCidentified

    Από την τελευταία μας ενημέρωση, το backlog των ουρών εργασιών και των θέσεων εργασίας έχει εκκαθαριστεί, από περίπου 23:47 UTC. Οι ροές εργασίας και οι θέσεις εργασίας αρχίζουν τώρα μέσα σε δευτερόλεπτα, και το CircleCI UI και API είναι ενημερωμένα. Παρακολουθούμε στενά τα συστήματά μας για να διασφαλίσουμε ότι θα παραμείνουν σταθερά. Θα παρέχουμε άλλη ενημέρωση μέχρι τις 00:30 UTC.

24. 10 Οκτωβρίου 2026 στις 12:45 π.μ. UTCidentified

    Οι ροές εργασίας και οι θέσεις εργασίας συνεχίζουν να ξεκινούν κανονικά, μέσα σε δευτερόλεπτα, και το CircleCI UI και API παραμένουν ενημερωμένα. Οι ειδοποιήσεις που καθυστέρησαν νωρίτερα για το περιστατικό εξακολουθούν να παραδίδονται. Τα δεδομένα φόρτισης χρήσης στη σελίδα χρήσης του Έργου είναι μπαγιάτικα. Συνεχίζουμε να παρακολουθούμε στενά τα συστήματά μας και θα παρέχουμε νέα ενημέρωση μέχρι τις 01:15 UTC.

25. 10 Οκτωβρίου 2026 στις 1:23 π.μ. UTCmonitoring

    Οι ροές εργασίας και οι θέσεις εργασίας ξεκινούν και λειτουργούν κανονικά, και το CircleCI UI και API είναι ενημερωμένα. Συνεχίζουμε να παρακολουθούμε στενά τα συστήματά μας για να διασφαλίσουμε ότι θα παραμείνουν σταθερά. Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 02:00 UTC.

26. 10 Οκτωβρίου 2026 στις 2:08 π.μ. UTCresolved

    Μεταξύ 11:15 UTC και 23:47 UTC στις 9 Οκτωβρίου, οι πελάτες παρουσίασαν καθυστερήσεις και αποτυχίες μέσω αγωγών, ροών εργασίας και θέσεων εργασίας, μαζί με καθυστερήσεις στο CircleCI UI, API και ειδοποιήσεις. Από τις 11:15 έως περίπου τις 13:00 UTC, δημιουργήθηκαν αγωγοί αλλά δεν επεξεργάστηκαν, και δεν εστάλησαν εξερχόμενη webhooks και Slack και ειδοποιήσεις ηλεκτρονικού ταχυδρομείου. Από τις 13:00 έως τις 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. Από περίπου 15:15 έως 20:48 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με αυξανόμενες καθυστερήσεις, μέχρι περίπου μια ώρα, και το CircleCI UI και API έπεσε πίσω μέχρι περίπου 2 ώρες. Κατά τη διάρκεια αυτού του διαστήματος, ορισμένες θέσεις εργασίας δεν κατάφεραν να ξεκινήσουν και κάποιες εισροές εργασίας απέτυχε. Από τις 20:48 έως περίπου 22:10 UTC, σταματήσαμε προσωρινά ξεκινώντας νέες ροές εργασίας και θέσεις εργασίας ώστε τα συστήματά μας να μπορέσουν να ανακάμψουν. Στη διάρκεια αυτής της περιόδου έγιναν δεκτοί νέοι αγωγοί. Από τις 22:10 έως τις 23:47 UTC, οι ροές εργασίας σε ουρές και οι θέσεις εργασίας ξανάρχισαν και επεξεργάστηκαν. Μερικοί από αυτούς είχαν περιμένει μέχρι περίπου 2 ώρες. Το ζήτημα έχει επιλυθεί και όλες οι επηρεαζόμενες λειτουργίες έχουν επανέλθει στο φυσιολογικό. Τα δεδομένα χρέωσης χρήσης στη σελίδα χρήσης του Έργου δεν είναι ακόμα ενημερωμένα και θα ενημερωθούν μόλις ολοκληρωθούν τα δεδομένα μας. Πελάτες των οποίων οι εργασίες απέτυχαν κατά τη διάρκεια αυτού του παραθύρου μπορεί να επανεκκινήσουν επηρεαζόμενες θέσεις εργασίας. Σας ευχαριστούμε για την υπομονή σας, ενώ οι μηχανικοί μας εργάστηκαν για την εφαρμογή μιας ρύθμισης.

27. 12 Οκτωβρίου 2026 στις 10:32 μ.μ. UTCpostmortem

    Περίληψη Μεταξύ 11:15 UTC και 23:47 UTC στις 9 Οκτωβρίου, οι πελάτες του CircleCI παρουσίασαν ώρες-μακριές καθυστερήσεις και αποτυχίες σε αγωγούς, ροές εργασίας και θέσεις εργασίας, μαζί με καθυστερήσεις στο CircleCI UI, API και ειδοποιήσεις. * Από 11:15 έως 13:00 UTC, οι αγωγοί δημιουργήθηκαν αλλά δεν επεξεργάστηκαν, και οι έξοδοι webhooks και Slack και ειδοποιήσεις ηλεκτρονικού ταχυδρομείου δεν εστάλησαν. * Από τις 13:00 έως τις 14:40 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με καθυστερήσεις, ενώ εργαστήκαμε μέσω του backlog. * Από 15:15 έως 20:48 UTC, οι ροές εργασίας και οι θέσεις εργασίας ξεκίνησαν με αυξανόμενες καθυστερήσεις, μέχρι περίπου μια ώρα, και το CircleCI UI και API έπεσε πίσω μέχρι περίπου 2 ώρες. Κατά τη διάρκεια αυτού του διαστήματος, ορισμένες θέσεις εργασίας δεν κατάφεραν να ξεκινήσουν και κάποιες εισροές εργασίας απέτυχε. * Από τις 20:48 έως 22:10 UTC, σταματήσαμε προσωρινά ξεκινώντας νέες ροές εργασίας και θέσεις εργασίας έτσι ώστε τα συστήματά μας να μπορούν να ανακάμψουν. Στη διάρκεια αυτής της περιόδου έγιναν δεκτοί νέοι αγωγοί. * Από 22:10 έως 23:47 UTC, ουρές εργασίας σε ουρά και θέσεις εργασίας επαναλήφθηκαν και αντιμετωπίστηκαν επιτυχώς. Μερικοί από αυτούς είχαν περιμένει μέχρι περίπου 2 ώρες. * Μέχρι τις 23:47, το περιστατικό μετριάστηκε. Η σελίδα κατάστασης για αυτό το περιστατικό μπορεί να βρεθεί στο [9 Οκτωβρίου - Καθυστέρηση στα δεδομένα που εμφανίζονται στο UI και API](https://status.circleci.com/incidents/6cfhhlr4rmm0). Οι πελάτες παρουσίασαν παρόμοιο περιστατικό νωρίτερα την εβδομάδα [6 Οκτωβρίου - Καθυστέρηση σε αγωγούς, ροές εργασίας, δεδομένα UI, και κοινοποιήσεις] (https://status.circleci.com/incidents/z4hbq8h49j8c). Πολλαπλές υπηρεσίες CircleCI χρησιμοποιούν τη χρονική υποστήριξη Postgres ως έναν αξιόπιστο μηχανισμό ουράς, και τα δύο περιστατικά είχαν την ίδια αιτία: ο ρυθμός των γραπτών στην εποχή Postgres του Temporal ήταν πιο γρήγορα από ό, τι το αρχείο καταγραφής συναλλαγών της Postgres θα μπορούσε να αρχειοθετήσει αυτά που γράφει. Και στις δύο περιπτώσεις, αυτό προκάλεσε καθυστερήσεις πολλών ωρών στην επεξεργασία τόσο των αγωγών όσο και των κοινοποιήσεων κατάστασης. Εκτιμήσαμε διάφορους μετρισμούς, στη συνέχεια, παύση νέα ροή εργασίας ξεκινά έτσι ώστε το σύστημα θα μπορούσε να ανακάμψει με ασφάλεια, και roted πίσω σταδιακά. Στη συνέχεια, στραγγαλίσαμε τη δουλειά μέχρι τα συστήματά μας να επιστρέψουν στο κανονικό. Για να επιλύσουμε μόνιμα το αδιέξοδο, έχουμε διασπασμένη εργασία σε πολλαπλά χρονικά περιστατικά, το καθένα με τη δική του ανεξάρτητη βάση δεδομένων και συμπλέγματα εργαζομένων, και φορτώνουμε την ισορροπία μεταξύ τους. Είχαμε ήδη προγραμματίσει εργασίες υποδομής από την εβδομάδα της 12ης Οκτωβρίου, οι οποίες θα είχαν αφαιρέσει αυτό ακριβώς το αδιέξοδο και θα εμπόδιζαν αυτά τα περιστατικά. Έτσι, ξεκινώντας από τις 19:11 στις 9 Οκτωβρίου η ομάδα μηχανικών μας υλοποίησε, δοκίμασε, και κυκλοφόρησε μια απλούστερη έκδοση αυτών των αλλαγών μέσα σε λίγες ώρες. Προσθέσαμε περαιτέρω νέα ειδοποίηση και συντόνισε τις υποκείμενες βάσεις δεδομένων για καλύτερες επιδόσεις υπό υψηλό φορτίο. Πελάτες των οποίων οι εργασίες απέτυχαν κατά τη διάρκεια αυτού του παραθύρου μπορεί να τις επανεκκινήσουν. Ιστορικό Για να εκτελέσετε τις δουλειές των πελατών, το CircleCI εκτελεί μια σειρά από βήματα: δεχόμαστε τους αγωγούς των πελατών; αναθέτουμε τις θέσεις εργασίας για αυτούς τους αγωγούς στους εργαζόμενους; παρέχουμε ενημερώσεις κατάστασης για αυτούς τους αγωγούς και τις θέσεις εργασίας? και χρεώνουμε τους πελάτες για τις πιστώσεις που καταναλώνουν οι θέσεις εργασίας. Κάθε ένα από αυτά τα βήματα υλοποιείται από μια ανεξάρτητη υπηρεσία, με αξιόπιστες ουρές στο μεταξύ. Ιστορικά έχουμε υλοποιήσει αυτές τις αξιόπιστες ουρές με RabbitMQ στην κορυφή της ανθεκτικής αποθήκευσης, με εκθετική αντιγράφων ασφαλείας και νεκρές ουρές γραμμάτων για αξιοπιστία. Κατά τη διάρκεια του περασμένου έτους, έχουμε επαναλειτουργήσει όλο και περισσότερο αξιόπιστες ουρές μας σε [Temporal] (https://temporal.io/), η οποία παρέχει πολύ καλύτερη αντοχή και αξιοπιστία εγγυάται πάνω από ένα απλούστερο και πιο ισχυρό μοντέλο προγραμματισμού. Η υπηρεσία κατασκευής \ (η οποία μετατρέπει έναν αγωγό config σε εκτελέσιμο σχέδιο\), η υπηρεσία ενορχηστρωτής ροής εργασίας μας \ (η οποία διανέμει εργασίες σε εργαζόμενους\), η υπηρεσία ειδοποίησης μας \ (η οποία παρέχει ενημερώσεις κατάστασης\), και η υπηρεσία φόρτισης μας \ (η οποία χρεώνει τους πελάτες για πιστώσεις\) όλα τώρα χρησιμοποιούν Χρονική. Διαχρονικά αποθηκεύει το κράτος για τις ροές εργασίας και τις δραστηριότητές του \ (που ονομάζεται «ιστορία»\) σε μια βάση δεδομένων, και αυτό είναι το μόνο συστατικό σε μια χρονική περίπτωση που είναι σύγχρονη και έντονη. Κατά συνέπεια, η ικανότητα μιας χρονικής περίπτωσης να δέχεται και να εκτελεί ροές εργασίας εξαρτάται από το ποσοστό εγγραφής της βάσης δεδομένων που υποστηρίζει. Έχουμε επίσης ρυθμίσει Χρονική για να διαγράψετε ολοκληρωμένες ροές εργασίας και δραστηριότητες από το ιστορικό του 3 ημέρες μετά την ολοκλήρωση τους. Κατά τη στιγμή αυτού του περιστατικού, χρησιμοποιήσαμε ένα ενιαίο σύνολο Χρονικό παράδειγμα υποστηρίζεται από ένα Multi-AZ Postgres RDS παράδειγμα για όλες αυτές τις αξιόπιστες ουρές. Ενώ μια περίπτωση Multi-AZ RDS είναι ανθεκτική στις αποτυχίες ζώνης, διατηρεί τη συνοχή της βάσης δεδομένων μέσω ενός μόνο write-ahead-log \ (WAL\). Εκείνη τη στιγμή είχαμε διαμορφώσει το Postgres παράδειγμα μας για να αποθηκεύσετε το WAL του σε μια ειδική τόμο καταγραφής \(DLV\) έτσι ώστε η καταγραφή γράφει δεν ανταγωνίζεται με τα δεδομένα γράφει. Η βάση δεδομένων καταγράφει την καταγραφή συνεχώς σε εφεδρική αποθήκευση, και μπορεί να επαναχρησιμοποιήσει μόνο χώρο στον όγκο μετά την αρχειοθέτηση της καταγραφής. Εάν η βάση δεδομένων γράφει αρχεία καταγραφής γρηγορότερα από ό, τι αρχειοθετεί, η ένταση γεμίζει και Postgres δεν έχει χώρο για να γράψει το αρχείο καταγραφής WAL της. Στη συνέχεια, η βάση δεδομένων σταματά να δέχεται εισερχόμενες γράφει και πηγαίνει εξ ολοκλήρου μόνο ανάγνωση. Ένα RDS DLV περιορίζεται σε 1TB αποθήκευσης και 3000 IOPS και ανά AWS αυτά τα όρια είναι hardcoded και δεν μπορούν να αυξηθούν. Τι συνέβη \(Όλες τις φορές UTC\) Ένας από τους παράγοντες που συνέβαλαν στο περιστατικό της 6ης Οκτωβρίου ήταν ότι επεξεργαστήκαμε ένα υψηλό ποσοστό διαγραφών της Χρονικής Ιστορίας ταυτόχρονα με την εισερχόμενη εργασία, η οποία με τη σειρά της άσκησε πίεση στη βάση δεδομένων υποστήριξης. Για να επιλύσουμε το περιστατικό της 6ης Οκτωβρίου, αλλάξαμε ρυθμίσεις καθαρισμού στους μεγαλύτερους πίνακες της Χρονικής και μεταφέραμε το ημερολόγιο συναλλαγών πίσω στον ειδικό όγκο του. Αυτές οι αλλαγές εξάλειψαν την κύρια πηγή του ημερολογίου συναλλαγών γράφει, αλλά δεν εξέτασε το πρόσθετο αρχείο καταγραφής γράφει από προγραμματισμένες διαγραφές. Επειδή έχουμε διαμορφώσει το Χρονικό για να διαγράψουμε ολοκληρωμένες ροές εργασίας και δραστηριότητες από το ιστορικό του 3 ημέρες μετά την ολοκλήρωση τους, η ιστορία της 6ης Οκτωβρίου είχε προγραμματιστεί να διαγραφεί στις 9 Οκτωβρίου. Ξεκινώντας από τις 08:00 στις 9 Οκτωβρίου, η Χρονική άρχισε την επεξεργασία αυτών των προγραμματισμένων διαγραφών, και κατά συνέπεια ο ελεύθερος χώρος στο Postgres DLV άρχισε να μειώνεται κατακόρυφα, από 0.8TB στις 08:00 σε 0.1TB έως 10:10. Η παρακολούθησή μας ειδοποιήθηκε στις 10:28 και δηλώσαμε ένα περιστατικό στις 10:31. Ενώ η ομάδα υποδομής μας ερευνούσε, στις 11:15 το DLV τελείωσε από το διάστημα και η υπόθεση Postgres πήγε μόνο για ανάγνωση. Αυτό σταμάτησε όλη την Προσωρινή επεξεργασία στα ίχνη της. Στις 11:42, επανεκκινήσαμε το Postgres για να μετακινήσουμε το αρχείο καταγραφής WAL από το DLV στον όγκο δεδομένων και να χρησιμοποιήσουμε τον εφεδρικό χώρο στο δίσκο και το IOPS εκεί. Αυτός ο ελιγμός είχε μετριάσει το περιστατικό στις 6 Οκτωβρίου και ξέραμε ότι θα έπαιρνε περίπου 60 λεπτά. Ενώ η βάση δεδομένων επανεκκινούσε, αρχίσαμε να εφαρμόζουμε διάφορες τεχνικές φόρτισης ανάντη του Χρονικού: * Αρχίσαμε να διερευνούμε αν θα έπρεπε να αποβάλουμε εντελώς τον εισερχόμενο φόρτο εργασίας για να κρατήσουμε τους υπόλοιπους σε κίνηση, αλλά τελικά αποφασίσαμε ότι αυτό δεν θα παρείχε καμία αξία. * Στις 12:29, επισημάναμε τις ενημερώσεις χρέωσης πιστώσεων, οι οποίες αντιπροσώπευαν το 12% των Χρονικών δραστηριοτήτων. Αυτό άφησε τη σελίδα Χρήσης Σωλήνων με μπαγιάτικα στοιχεία φόρτισης, μέχρι να το γεμίσουμε, αλλά δεν θα χάσουμε δεδομένα ή δεν θα αποτρέψουμε την λειτουργία αγωγών. Στις 12:59, η βάση δεδομένων ήταν πίσω επάνω και άρχισε εργασίες επεξεργασίας που είχαν ουρά από 11:15 και στις 14:40, αυτό το backlog είχε εκκαθαριστεί και οι θέσεις εργασίας άρχισαν στην ώρα τους. Ωστόσο, μέχρι τις 15:15, οι καθυστερήσεις επέστρεψαν καθώς ο καθαρισμός της βάσης δεδομένων είχε μείνει πολύ πίσω στους πίνακες που χρησιμοποιεί ο Χρονικός για να παρακολουθεί τις ουρές και τις προγραμματισμένες εργασίες. Αυτοί οι πίνακες συνήθως έχουν δεκάδες χιλιάδες διαγραμμένες σειρές που περιμένουν καθάρισμα, αλλά μέχρι αργά το απόγευμα, κρατούσαν δεκάδες εκατομμύρια σειρές. Κάθε Χρονική λειτουργία έπρεπε να διαβάσει πέρα από αυτές τις σειρές, έτσι η βάση δεδομένων ξόδεψε πολύ περισσότερο χρόνο επεξεργασίας για κάθε μία και η Χρονική έτρεξε πιο αργά. Αυτό είχε ως αποτέλεσμα οι πελάτες να συνεχίσουν να βλέπουν καθυστερήσεις διάρκειας ώρας στην έναρξη των αγωγών και στις ενημερώσεις κατάστασης. Για τις επόμενες ώρες επιχειρήσαμε διάφορους μετρισμούς, μεταξύ των οποίων: * Χειρισμός των τιμών διαμόρφωσης του χρόνου για τη μείωση της πίεσης της βάσης δεδομένων. Αυτό είχε ελάχιστη επίδραση. * Εκτέλεση χειρωνακτικές εργασίες κενού για τον καθαρισμό νεκρών σειρών στο Postgres. Αυτό κατέληξε να ανταγωνίζεται για CPU με τις ίδιες τις ερωτήσεις, και ήταν τελικά αντιπαραγωγική. Τους ακυρώσαμε στις 17:45 για να ανακουφίσουμε την πίεση στο φορτίο της βάσης δεδομένων. * Αρχίσαμε να προσπαθούμε να μετακινήσουμε όλες τις περιπτώσεις χρήσης ειδοποιήσεων σε μια ξεχωριστή χρονική περίπτωση. Αυτό αντιπροσώπευε το 18% των Χρονικών δραστηριοτήτων. Τελειώσαμε με επιτυχία τη μετακίνηση ειδοποιήσεων μέχρι τις 17:07. * Στις 17:16, εφαρμόσαμε με επιτυχία μια βελτιστοποίηση στην αντιπροσώπευση της κατάστασης του αγωγού, η οποία τη μείωσε κατά 5%. Αυτό με τη σειρά του μείωσε το μέγεθος της βάσης δεδομένων γράφει και ως εκ τούτου η πίεση των δεδομένων στο αρχείο καταγραφής Postgres WAL. Κανένα από αυτά δεν μείωσε πλήρως το ζήτημα. Μέχρι τις 20:48, συνειδητοποιήσαμε ότι η Postgres ήταν τώρα συνθλίψιμο σε βάση δεδομένων CPU και δεν ήταν πλέον μπλοκαρισμένη σε αρχεία καταγραφής. Συνειδητοποιήσαμε περαιτέρω ότι τα ανάντη συστήματά μας υπέβαλλαν νέα εργασία αλλά και επανέναρξη εργασιών που είχαν υποβληθεί και αποτύχει νωρίτερα. Αναγνωρίζοντας ότι ήμασταν σε μια κλασική θύελλα επανέναρξης, σταματήσαμε όλες τις εισερχόμενες και ξαναδοκιμάστε την εργασία και αφήστε το να ουρήσει επάνω, προκειμένου να επιτρέψει στη βάση δεδομένων να ολοκληρώσει πλήρως την εργασία κατά τη διαδικασία. Στη συνέχεια, σιγά-σιγά γκαστρώσαμε την εργασία στην ουρά από τις 22:07 για να κρατήσουμε τη βάση δεδομένων σε ένα βιώσιμο φορτίο. Αυτό το πέτυχε πλήρως στις 23:47 όταν είχαν ξεκινήσει όλες οι εργασίες σε ουρά, και κλείσαμε το περιστατικό στις 02:08 στις 10 Οκτωβρίου. Μελλοντική Πρόληψη και Βελτίωση της Διαδικασίας Πολλαπλές Χρονικές Περιπτώσεις Παράλληλα με τον μετριασμό και την επίλυση συμβάντων, αρχίζοντας από τις 19:11 στις 9 Οκτωβρίου, αρχίσαμε επίσης να σηκώνουμε το ανάστημά μας σε πολλαπλές θραυσμένες χρονικές περιπτώσεις και να εφαρμόζουμε την ικανότητα φόρτωσης-ισοστάθμισης εισερχόμενων εργασιών μεταξύ τους. Καθένα από τα πολλαπλά χρονικά περιστατικά διατηρεί τη δική του ανεξάρτητη βάση δεδομένων και συμπλέγματα εργαζομένων, και έτσι είναι απομονωμένη από τις άλλες. Ως αντικείμενο μεταθανάτιας δράσης από το περιστατικό της 6ης Οκτωβρίου, είχαμε ήδη προγραμματίσει εργασίες υποδομής οι οποίες θα είχαν απομακρύνει το αδιέξοδο μιας ενιαίας χρονικής περίπτωσης και της βάσης δεδομένων Postgres, ξεκινώντας από τις 12 Οκτωβρίου και αναμένοντας να χρειαστούν 2 εβδομάδες. Στις 9 Οκτωβρίου, συνειδητοποιήσαμε ότι αυτή η εργασία απλά δεν μπορούσε να περιμένει, έτσι ώστε η ομάδα μηχανικών μας υλοποιήθηκε, δοκιμάστηκε, και κυκλοφόρησε μια απλούστερη έκδοση των προγραμματισμένων αλλαγών μέσα σε λίγες ώρες. Οι αλλαγές αυτές ολοκληρώθηκαν με επιτυχία στις 01:45 στις 10 Οκτωβρίου. ** Επιπλέον, αλλάζουμε τον τρόπο με τον οποίο αποθηκεύουμε και παρακολουθούμε τα αρχεία καταγραφής συναλλαγών.** Η προσωρινή βάση δεδομένων μας δεν χρησιμοποιεί πλέον τον όγκο καταγραφής σταθερού μεγέθους. Προσθέτουμε ειδοποιήσεις για το πόσο πίσω βρίσκεται η αρχειοθέτηση και πόσο γρήγορα γράφει η βάση δεδομένων, ώστε να μπορούμε να δράσουμε ώρες νωρίτερα από ό, τι κάναμε στις 9 Οκτωβρίου. ** Επιβιώνουμε επίσης το χρονοδιάγραμμα διαγραφής του Χρονικού.** Η χρονική διαγράφει την τελειωμένη εργασία λίγες ημέρες μετά την εκτέλεση, οπότε μια πολυάσχολη μέρα επιστρέφει ως φορτίο βάσης δεδομένων αργότερα μέσα στην εβδομάδα. Αλλάζουμε πότε και πόσο γρήγορα αυτές οι διαγραφές τρέχουν. ** Αλλάζουμε τον τρόπο με τον οποίο τα συστήματά μας επανέρχονται όταν ο Χρονικός είναι αργός. ** Στις 9 Οκτωβρίου, τα συστήματά μας ξαναδοκίμασαν αποτυχημένη δουλειά κατά της Χρονικής και προστέθηκαν στο φορτίο της. Όπως διαπράξαμε μετά το περιστατικό της 6ης Οκτωβρίου, αλλάζουμε τα συστήματά μας για να περιμένουμε να ανακάμψει η Χρονική ώστε να μην πέσει η δουλειά. Συμπέρασμα . . . Η εμπειρία των πελατών είναι η πρώτη μας προτεραιότητα, και δεσμευόμαστε να βελτιώνουμε συνεχώς την αξιοπιστία των συστημάτων μας ώστε να ταιριάζουν με την εμπιστοσύνη που μας εμπιστεύονται οι πελάτες μας. Ευχαριστούμε τους πελάτες μας για την υπομονή τους, ενώ η ομάδα μας εργάστηκε για την επίλυση αυτών των περιστατικών. Παρακαλούμε επικοινωνήστε με την ομάδα υποστήριξης μας με οποιεσδήποτε ερωτήσεις ή ανησυχίες.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 8 Οκτωβρίου 2026 στις 1:00 μ.μ. UTCidentified

   Οι πελάτες μπορεί να βιώνουν αυξημένους χρόνους αναμονής για εργαλειομηχανές. Προσπαθούμε να το επιλύσουμε αυτό.

2. 8 Οκτωβρίου 2026 στις 1:34 μ.μ. UTCidentified

   Οι πελάτες που χρησιμοποιούν Linux εργαλειομηχανές βιώνουν αυξημένα διαστήματα αναμονής, με μέσο όρο περίπου 11 λεπτά, με τη μεγαλύτερη αναμονή να ξεπερνά τα 30 λεπτά στο μέσο, το arm.medium και το arm.large κατηγορίες πόρων. Οι μηχανικοί μας έχουν εντοπίσει το θέμα και εργάζονται πάνω σε ένα σημείο. Θα παρέχουμε άλλη μια ενημέρωση μέχρι τις 14:00 UTC.

3. 8 Οκτωβρίου 2026 στις 2:04 μ.μ. UTCidentified

   Οι πελάτες που χρησιμοποιούν Linux εργαλειομηχανές βιώνουν αυξημένους χρόνους αναμονής, με μέσο όρο περίπου 40 λεπτά, με τη μεγαλύτερη αναμονή να ξεπερνά τα 50 λεπτά. Οι περισσότερες τάξεις Linux machine resources επηρεάζονται, συμπεριλαμβανομένων των μεσαίων, μεγάλων, xlarge, 2xlarge και των αντίστοιχων όπλων τους. Οι μηχανικοί μας έχουν εντοπίσει το θέμα και εργάζονται πάνω σε ένα σημείο. Θα παρέχουμε άλλη ενημέρωση μέχρι τις 14:30 UTC.

4. 8 Οκτωβρίου 2026 στις 2:37 μ.μ. UTCidentified

   Οι πελάτες που χρησιμοποιούν εργασίες Linux machine και απομακρυσμένο Docker βιώνουν αυξημένες ώρες αναμονής. Οι χρόνοι αναμονής έχουν αρχίσει να μειώνονται και τώρα έχουν μέσο όρο περίπου 20 λεπτά, με τη μεγαλύτερη αναμονή να υπερβαίνει τα 40 λεπτά σε ορισμένες κατηγορίες πόρων. Οι μηχανικοί μας έχουν εντοπίσει το θέμα και εργάζονται πάνω σε ένα σημείο. Θα σας παρέχουμε μια νέα ενημέρωση μέχρι τις 15:00 UTC.

5. 8 Οκτωβρίου 2026 στις 3:01 μ.μ. UTCidentified

   Μια επιδιόρθωση έχει αναπτυχθεί και οι χρόνοι αναμονής μειώνονται, αλλά οι πελάτες που χρησιμοποιούν εργασίες μηχανών Linux και Remote Docker εξακολουθούν να αντιμετωπίζουν καθυστερήσεις. Χρόνοι αναμονής επί του παρόντος μέσο όρο περίπου 11 λεπτά, με τη μεγαλύτερη αναμονή πάνω από 35 λεπτά σε ορισμένες κατηγορίες πόρων. Προσπαθούμε να προσθέσουμε την ικανότητα το συντομότερο δυνατόν. Θα παρέχουμε άλλη ενημέρωση μέχρι τις 15:30 UTC.

6. 8 Οκτωβρίου 2026 στις 3:31 μ.μ. UTCidentified

   Οι χρόνοι αναμονής συνεχίζουν να μειώνονται, αλλά οι πελάτες που χρησιμοποιούν εργασίες Linux και απομακρυσμένο Docker εξακολουθούν να αντιμετωπίζουν καθυστερήσεις. Οι ώρες αναμονής είναι κατά μέσο όρο περίπου 6 λεπτά. Η μεγαλύτερη αναμονή, μέχρι περίπου 20 λεπτά, είναι στο 2xlarge, βραχίονα.2xlarge και gpu.nvidia. μικρές κατηγορίες πόρων. Προσπαθούμε να προσθέσουμε την ικανότητα το συντομότερο δυνατόν. Θα σας παρέχουμε άλλη μια ενημέρωση μέχρι τις 16:00 UTC.

7. 8 Οκτωβρίου 2026 στις 3:59 μ.μ. UTCidentified

   Οι χρόνοι αναμονής συνεχίζουν να μειώνονται, αλλά οι πελάτες που χρησιμοποιούν εργασίες Linux και απομακρυσμένο Docker εξακολουθούν να αντιμετωπίζουν καθυστερήσεις. Χρόνοι αναμονής επί του παρόντος μέσο όρο περίπου 90 δευτερόλεπτα, με το μεγαλύτερο περιμένει μέχρι περίπου 6 λεπτά για ορισμένες κατηγορίες πόρων. Προσπαθούμε να προσθέσουμε την ικανότητα το συντομότερο δυνατόν. Θα παρέχουμε μια νέα ενημέρωση μέχρι τις 16:30 UTC.

8. 8 Οκτωβρίου 2026 στις 4:09 μ.μ. UTCmonitoring

   Οι χρόνοι αναμονής για τους πελάτες που χρησιμοποιούν εργασίες Linux machine και απομακρυσμένο Docker έχουν επιστρέψει στο φυσιολογικό. Παρακολουθούμε για να επιβεβαιώσουμε ότι οι ώρες αναμονής παραμένουν σταθερές ενώ συνεχίζουμε να προσθέτουμε χωρητικότητα. Θα παρέχουμε μια νέα ενημέρωση μέχρι τις 16:30 UTC.

9. 8 Οκτωβρίου 2026 στις 4:35 μ.μ. UTCresolved

   Μεταξύ 12:40 UTC και 16:00 UTC στις 8 Οκτωβρίου, οι πελάτες που χρησιμοποιούσαν εργασίες μηχανών Linux και απομακρυσμένο Docker γνώρισαν αυξημένα διαστήματα αναμονής. Το ζήτημα έχει επιλυθεί και οι χρόνοι αναμονής έχουν επανέλθει στο φυσιολογικό. Σας ευχαριστούμε για την υπομονή σας, ενώ η ομάδα μας εργάστηκε για την εφαρμογή μιας ρύθμισης.

10. 8 Οκτωβρίου 2026 στις 5:54 μ.μ. UTCpostmortem

    Περίληψη Από την 1η Οκτωβρίου, οι πελάτες του CircleCI έχουν βιώσει πολλαπλά περιστατικά τα οποία έχουν προκαλέσει καθυστερήσεις και αποτυχίες στην εκτέλεση του αγωγού πελατών. Υπάρχουν δύο \ (άσχετα\) αιτίες, και οι δύο από τις οποίες η ομάδα μηχανικής CircleCI μετριάζει ενεργά: * Διαθέσιμο Cloud Computing Χωρητικότητα * Εσωτερική υποδομή . . . Διαθέσιμο Cloud Computing Χωρητικότητα * **Πρόβλημα **: Η ζήτηση για υψηλής απόδοσης cloud περιπτώσεις αυξάνεται εξαιρετικά γρήγορα σε όλη τη βιομηχανία, η οποία ασκεί πίεση στους τύπους cloud provider case που χρησιμοποιούμε για την εκτέλεση των εργασιών των πελατών. * ** Συμπτώματα **: * [Αυξημένοι χρόνοι αναμονής για εργαλειο εργασία] (https://status.circleci.com/incidents/jn756xtsy4xg) * [Αυξημένη ώρα αναμονής για Docker Gen2](https://status.circleci.com/incidents/39rfrjmk5pvd) (https://status.circleci.com/incidents/0z31ldjd8m5v) * [Καθυστέρηση στην εκκίνηση Εργασίες εργασία μηχανή] (https://status.circleci.com/incidents/tj6wdnfjwr64) * [Καθυστέρηση εκκίνησης Gen 2 Docker Jobs] (https://status.circleci.com/incidents/22mrv46g6n7g) * * * * Mitigations and Resolutions **: * Επεκτείνουμε το σύνολο των περιοχών υπολογιστικών νεφών μας για να συμπεριλάβουμε επιπλέον περιοχές με διαθέσιμες περιπτώσεις υψηλής απόδοσης. * Εργαζόμαστε επίσης για την εξασφάλιση πρόσθετης εγγυημένης ικανότητας από τους συνεργάτες μας υπολογιστικών cloud στις υπάρχουσες περιοχές μας. * Επεκτείνουμε περαιτέρω το σύνολο των τύπων των περιπτώσεων που μπορούμε να προσφέρουμε στους πελάτες. * Θα δημοσιεύσουμε μια λεπτομερή Έκθεση Περιστατικών σχετικά με αυτά τα περιστατικά στις 9 Οκτωβρίου 2026. Εσωτερική υποδομή * **Πρόβλημα **: Αναθέτουμε τις ροές εργασίας των πελατών σε πολλούς παρόχους υπολογισμού μέσω μιας υπηρεσίας ενορχήστρωσης ροής εργασίας. Αυτή η υπηρεσία είναι προς το παρόν διέρχεται από τη γράψη διατομής μιας ενιαίας βάσης δεδομένων. * ** Συμπτώματα: ** * [Καθυστερήσεις σε αγωγούς, ροές εργασιών, δεδομένα UI και κοινοποιήσεις] (https://status.circleci.com/incidents/z4hbq8h49j8c) * [Συντήρηση υποδομής έκτακτης ανάγκης] (https://status.circleci.com/incidents/g60yc9bvkmx) * * * * Mitigations and Resolutions **: * Μέχρι τις 23 Οκτωβρίου 2026, σχεδιάζουμε να υλοποιήσουμε πολλαπλές περιπτώσεις υπηρεσίας ενορχήστρωσης περιττών ροών εργασίας, η καθεμία με τη δική της βάση δεδομένων, η οποία θα μας επιτρέψει να μοιράσουμε το φορτίο ενορχήστρωσης μεταξύ τους. Η δέσμευσή μας Για την αποφυγή της αμφιβολίας, * Αυτά τα συγκεκριμένα περιστατικά δεν σχετίζονται με συνεχιζόμενες διακοπές στο Github * Προς το παρόν δεν μεταναστεύουμε τις υποδομές ή τις υπηρεσίες μας * Δεν είμαστε τώρα υπό κυβερνοεπίθεση Η εμπειρία των πελατών είναι η πρώτη μας προτεραιότητα, και δεσμευόμαστε να βελτιώνουμε συνεχώς την αξιοπιστία των συστημάτων μας ώστε να ταιριάζουν με την εμπιστοσύνη που μας εμπιστεύονται οι πελάτες μας. Ευχαριστούμε τους πελάτες μας για την υπομονή τους, ενώ η ομάδα μας εργάστηκε για την επίλυση αυτών των περιστατικών και έργων για την πρόληψη μελλοντικών περιστατικών. Παρακαλούμε επικοινωνήστε με την ομάδα υποστήριξης μας με οποιεσδήποτε ερωτήσεις ή ανησυχίες.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 7 Οκτωβρίου 2026 στις 6:54 μ.μ. UTCidentified

   Υπάρχει αυξημένος χρόνος αναμονής για θέσεις εργασίας στο Docker Gen2.

2. 7 Οκτωβρίου 2026 στις 7:00 μ.μ. UTCidentified

   Σημείωση: καθυστερήσεις θα είναι πιο αισθητή για τους ανθρώπους που τρέχουν στο Docker `xlarge` και πάνω.

3. 7 Οκτωβρίου 2026 στις 7:52 μ.μ. UTCmonitoring

   Ακόμα βλέπουμε αιχμές σε ώρες αναμονής αλλά κατά μέσο όρο οι ώρες αναμονής είναι καλύτερες για όλους τους Ντόκερ Τζεν2.

4. 7 Οκτωβρίου 2026 στις 8:05 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

5. 8 Οκτωβρίου 2026 στις 5:54 μ.μ. UTCpostmortem

   \"Περίληψη\" Μεταξύ 1 Οκτωβρίου και 8 Οκτωβρίου 2026, οι πελάτες του CircleCI αντιμετώπισαν πέντε ξεχωριστά περιστατικά στα οποία οι θέσεις εργασίας περίμεναν περισσότερο από το κανονικό για να ξεκινήσουν, ή δεν κατάφεραν να ξεκινήσουν. Τρία από τα περιστατικά οδηγήθηκαν από περιορισμένη διαθεσιμότητα από τον πάροχο cloud μας. Το ένα προκλήθηκε από ένα θέμα διαμόρφωσης στην υποδομή προγραμματισμού μας, και το ένα από όρια μνήμης σε μια εσωτερική υπηρεσία, την οποία θίξαμε κατά τη διάρκεια του συμβάντος. * ** 1 Οκτωβρίου 07:57 έως 10:24 UTC: ** Docker Gen 2 θέσεις εργασίας περίμενε μέχρι 30 λεπτά για να ξεκινήσει. Ένα θέμα ρύθμισης εμπόδισε τους διακομιστές προγραμματισμού Gen 2 να χρησιμοποιήσουν τους τοπικούς δίσκους υψηλής απόδοσης. Κατά τη διάρκεια μιας έκρηξης στην κυκλοφορία, οι εφεδρικοί δίσκοι κορεσμένοι και η τοποθέτηση εργασίας επιβραδύνθηκαν. * ** 7 Οκτωβρίου 13:27 έως 14:06 UTC: ** Οι εργασίες του μηχανήματος περίμεναν περισσότερο από το κανονικό, επειδή δεν μπορούσαμε να αποκτήσουμε αρκετές εικονικές μηχανές από τον πάροχο cloud μας. * ** 7 Οκτωβρίου 14:24 έως 15:21 UTC:** Ορισμένες θέσεις εργασίας απέτυχαν με σφάλμα υποδομής και οι ροές εργασίας καθυστέρησαν. Η υπηρεσία που δίνει σε κάθε εργασία τις ρυθμίσεις της κατά την εκκίνηση εξαντλήθηκε από τη μνήμη και επανεκκίνησε. * ** 7 Οκτωβρίου 18:49 έως 20:05 UTC: ** Docker Gen 2 θέσεις εργασίας περίμενε περισσότερο από το κανονικό, επειδή δεν θα μπορούσε να αποκτήσει αρκετά περιστατικά από τον πάροχο σύννεφο μας. * ** 8 Οκτωβρίου 12:48 έως 16:00 UTC:** Οι εργασίες μηχανών Linux και οι απομακρυσμένες εργασίες Docker περίμεναν μέχρι και 50 λεπτά για να ξεκινήσουν. Ο πάροχος cloud μας δεν είχε αρκετό από τον τύπο περίπτωσης που ζητάμε, και ένα ελάττωμα στη λογική που επιλέγει ένα διαφορετικό τύπο περίπτωση μας εμπόδισε να χρησιμοποιούμε εναλλακτικές λύσεις. Εργασίες που περίμεναν στη διάρκεια αυτών των περιστατικών καθυστέρησαν, δεν χάθηκαν. Πελάτες των οποίων οι θέσεις εργασίας απέτυχαν με σφάλμα υποδομής κατά τη διάρκεια του περιστατικού της 7ης Οκτωβρίου από τις 14:24 έως 15:21 Η UTC μπορεί να τις επανεκκινήσει. Οι αρχικές σελίδες κατάστασης μπορούν να βρεθούν παρακάτω: * [1 Οκτωβρίου - Καθυστερεί την έναρξη Gen 2 Docker Jobs] (https://status.circleci.com/incidents/22mrv46g6n7g) * [7 Οκτωβρίου - Καθυστέρηση στην έναρξη εργασιών εργασίας μηχανή] (https://status.circleci.com/incidents/tj6wdnfjwr64) * [7 Οκτωβρίου - Αυξημένο επίπεδο αποτυχιών στις θέσεις εργασίας των πελατών] (https://status.circleci.com/incidents/0z31ldjd8m5v) * [7 Οκτωβρίου - Αυξημένες ώρες αναμονής για το Docker Gen2](https://status.circleci.com/incidents/39rfrjmk5pvd) * [8 Οκτωβρίου - Αυξημένες ώρες αναμονής για εργαλειοδουλειές] (https://status.circleci.com/incidents/jn756xtsy4xg) ** Πίσω ** Κάθε δουλειά που τρέχει στο CircleCI χρειάζεται υπολογισμό. Από πού προέρχεται αυτός ο υπολογισμός εξαρτάται ο εκτελεστής. Οι εργασίες Docker εκτελούνται σε ομάδες servers που προγραμματίζουν εργασίες σε ένα στόλο των περιπτώσεων. Ο προγραμματιστής είναι το λογισμικό σε αυτούς τους διακομιστές που αποφασίζει ποια περίπτωση τρέχει κάθε εργασία. Οι θέσεις εργασίας της Gen 2 Docker λειτουργούσαν σε μια τέτοια ομάδα κατά τη στιγμή του συμβάντος της 1ης Οκτωβρίου. Gen 1 Οι εργασίες Docker είναι κατανεμημένες σε διάφορες ομάδες. Εργασίες μηχανών, συμπεριλαμβανομένων απομακρυσμένων εργασιών Docker, να πάρετε μια ειδική εικονική μηχανή. Μια απομακρυσμένη δουλειά Docker αντιμετωπίζεται ως εργασία μηχανής Linux από την υποβολή μέσω της προμήθειας. Η υπηρεσία μας για την παροχή μηχανών απαιτεί κάθε μηχανή από τον πάροχο cloud μας σε μία από τις δύο περιοχές που συνήθως χρησιμοποιούμε για εργασίες μηχανών. Όταν ο πάροχος δεν μπορεί να προμηθεύσει τον τύπο περίπτωσης που ζητάμε, η υπηρεσία υποχωρεί: απαιτεί διαφορετικό τύπο περίπτωσης, ή μια διαφορετική περιοχή, από έναν κατάλογο που διατηρούμε. Μια δουλειά περιμένει μέχρι να είναι διαθέσιμη μια μηχανή. Όταν οποιαδήποτε εργασία ξεκινά, ζητά μια υπηρεσία ρύθμισης της εργασίας για τη διαμόρφωση της. Αυτή η υπηρεσία λειτουργεί ως σύνολο λοβών, τα οποία είναι μικρά αντίγραφα του ίδιου προγράμματος. Εάν σταματήσουν πάρα πολλοί λοβοί, οι υπόλοιποι λοβοί μεταφέρουν περισσότερο φορτίο, και οι θέσεις εργασίας δεν μπορούν να ξεκινήσουν μέχρι να ανακάμψει η υπηρεσία. Αυτές οι διαδρομές εξαρτώνται από τρία είδη χωρητικότητας: την διαπερατότητα των συστημάτων προγραμματισμού μας, την παροχή των περιπτώσεων από τον πάροχο cloud μας, και τη μνήμη και τον αριθμό των αντιγράφων των υπηρεσιών που ξεκινούν θέσεις εργασίας. Ένα έλλειμμα σε οποιοδήποτε από αυτά κάνει τις δουλειές να περιμένουν ή να αποτύχουν. Τι έγινε; \(Όλες τις φορές UTC\) Οι δουλειές του Ντόκερ Τζεν 2 καθυστέρησαν μέχρι 30 λεπτά. Στις 07:44, η δραστηριότητα του δίσκου στους διακομιστές που προγραμματίζουν τις εργασίες του Gen 2 Docker αυξήθηκε στο 90% της χωρητικότητας και έμεινε εκεί. Στις 07:57, ο αριθμός των εργασιών Docker περιμένει να αρχίσει να αυξάνεται, και οι χρόνοι αναμονής αυξήθηκε με αυτό. Ένας αυτοματοποιημένος συναγερμός κάλεσε τον εφημερεύοντα μηχανικό στις 08:08. Δηλώσαμε ένα περιστατικό στις 08:42. Στις 08:43, οι μηχανικοί εντόπισαν μεγάλη καθυστέρηση στο δίσκο στους διακομιστές προγραμματισμού. Αρχικά πίστευαν ότι οι δίσκοι ήταν πολύ αργοί για το φορτίο, έτσι προετοίμασαν μια αλλαγή σε έναν πιο γρήγορο τύπο δίσκου. Στις 09:01, η ομάδα συμφώνησε σε δύο workstream: μετακινήστε τους διακομιστές σε ταχύτερους δίσκους, και προσθέστε μια δεύτερη ομάδα Gen 2, έτσι ώστε οι θέσεις εργασίας να χωριστούν σε δύο συστάδες. Στις 09:41, οι μηχανικοί βρήκαν τη βασική αιτία. Κάθε διακομιστής προγραμματισμού έχει γρήγορους δίσκους που συνδέονται απευθείας σε αυτό, και ο προγραμματιστής έχει ως στόχο να κρατήσει τα δεδομένα εργασίας του εκεί. Αυτοί οι διακομιστές τρέχουν σε μια εικόνα του λειτουργικού συστήματος, και σε αυτή την εικόνα οι γρήγοροι δίσκοι δεν χρησιμοποιούνταν. Ο προγραμματιστής έγραψε τα δεδομένα του σε πιο αργούς συνδεδεμένους με το δίκτυο δίσκους. Το σενάριο που δημιουργεί τους γρήγορους δίσκους απέτυχε χωρίς σφάλμα, και ένα κενό στην καταγραφή σε αυτούς τους διακομιστές έκρυψε την αποτυχία. Η κίνηση της Γεν 2 είχε επίσης γίνει ολοένα και πιο ραγδαία. Οι πιο αργοί δίσκοι κορεσμένοι κατά τη διάρκεια αυτών των εκρήξεων, και ο προγραμματιστής έπεσε πίσω. Οι ώρες αναμονής κορυφώθηκαν στις 09:54, όταν οι θέσεις εργασίας στη μεσαία τάξη πόρων Gen 2 περίμεναν μέχρι 30 λεπτά. Στις 09:55, οι μηχανικοί εφάρμοσαν μια επιδιόρθωση που έστηνε σωστά τους γρήγορους δίσκους. Στις 10:11, ο προγραμματιστής άρχισε να τοποθετεί τις θέσεις εργασίας γρηγορότερα, πράγμα που επιβεβαίωσε ότι οι servers θα μπορούσαν να συμβαδίσουν με νέες θέσεις εργασίας. Χρόνοι αναμονής για το μέσο της Γεν 2 έπεσαν στα 13 λεπτά στις 10:14, 7 λεπτά στις 10:17, και 1 λεπτό 30 δευτερόλεπτα στις 10:20. Μεταφέραμε τη σελίδα της κατάστασης στην παρακολούθηση στις 10:24 και λύσαμε το περιστατικό στις 10:45. Στις 11:20, η δεύτερη ομάδα Gen 2 άρχισε να λειτουργεί δουλειές. 7 Οκτωβρίου, 13:27 έως 14:06: Αυξημένες ώρες αναμονής για εργαλειομηχανές Κηρύξαμε ένα περιστατικό στις 13:27 αφού είδαμε υπερυψωμένες ώρες αναμονής και αναμονής. Αναρτήσαμε στη σελίδα κατάστασης στις 13:31. Στις 13:31, οι μηχανικοί είδαν ότι παλεύαμε να αποκτήσουμε εικονικές μηχανές για εργαλειομηχανές, και ότι ο αριθμός των θέσεων εργασίας που περίμεναν να ξεκινήσουν ήταν υψηλός κυρίως για εργαλειομηχανές. Στις 13:34, οι ώρες αναμονής ανυψώθηκαν σε εκτελεστές. Στις 13:48, οι χρόνοι αναμονής άρχισαν να αναρρώνουν καθώς γίνονταν διαθέσιμες περισσότερες μηχανές, και επιλύσαμε το περιστατικό στις 14:06. 7 Οκτωβρίου, 14:24 έως 15:21: Αποτυχίες και καθυστερήσεις στη ροή εργασίας** Λίγο μετά τη σήμανση του προηγούμενου συμβάντος, δηλώσαμε ένα νέο περιστατικό στις 14:24 λόγω της απότομης μείωσης του αριθμού των θέσεων εργασίας που υποβλήθηκαν στα συστήματα εκτέλεσης μας. Στις 14:26, οι μηχανικοί είδαν ότι οι λοβοί της υπηρεσίας ρύθμισης της εργασίας επανεκκινούσαν. Pods που επανεκκινούν αφήνουν λιγότερα αντίγραφα της υπηρεσίας για να απαντήσουν σε αιτήματα, και θέσεις εργασίας που δεν μπορούσαν να ανακτήσουν τη διαμόρφωση τους μετά από επανειλημμένες προσπάθειες απέτυχε με ένα σφάλμα υποδομής. Οι ροές εργασίας που ήδη έτρεχαν περίμεναν ενημερώσεις από θέσεις εργασίας που δεν είχαν ξεκινήσει. Στις 14:35, οι μηχανικοί αύξησαν την ποσότητα της διαθέσιμης μνήμης στους λοβούς και αύξησαν τον αριθμό των λοβών, γεγονός που έδωσε στην υπηρεσία περισσότερα αντίγραφα για να μοιραστεί το φορτίο. Επίσης, αυξήσαμε την ποσότητα της μνήμης που ήταν διαθέσιμη Οι υποβολές εργασίας άρχισαν να αναρρώνουν, και ο αριθμός των μηνυμάτων που ρέουν μέσω του συστήματος ροής εργασίας μας επέστρεψε σε φυσιολογικά επίπεδα. Στις 14:44, μεταφέραμε τη σελίδα κατάστασης στην παρακολούθηση. Τα pods στην υπηρεσία διαμόρφωσης εργασίας έφτασαν στα όρια μνήμης τους και επανεκκίνησαν. Αυξήσαμε τις κατανομές μνήμης και τις μετρήσεις της κάψουλας, και η υπηρεσία ανακτήθηκε. Στις 15:13, αυξήσαμε τον αριθμό των περιπτώσεων στα συμπλέγματα Docker της Γεν 2 μας έτσι ώστε να μπορούμε να εργαστούμε μέσα από το backlog των θέσεων αναμονής γρήγορα. Λύσαμε το περιστατικό στις 15:21. 7 Οκτωβρίου, 18:49 έως 20:05: Αυξημένες ώρες αναμονής για τις 2 δουλειές του Ντόκερ Ανακηρύξαμε ένα νέο περιστατικό στις 18:49 μετά το Docker Gen 2 χρόνοι αναμονής αυξήθηκαν. Στις 18:51, οι μηχανικοί επιβεβαίωσαν ότι η έλλειψη διαθέσιμων περιπτώσεων μας εμπόδιζε να αποκτήσουμε αρκετές από αυτές, οι οποίες ύψωσαν τις ώρες αναμονής. Οι χρόνοι αναμονής διαφέρουν ανάλογα με το μέγεθος της τάξης των πόρων. Στις 19:52, ο μέσος χρόνος αναμονής ήταν χαμηλότερος από μια ώρα νωρίτερα καθώς γινόταν διαθέσιμη περισσότερη χωρητικότητα, αν και συνεχίστηκαν οι σύντομες αιχμές, και μεταφέραμε τη σελίδα κατάστασης στην παρακολούθηση. Λύσαμε το περιστατικό στις 20:05. 8 Οκτωβρίου: Η μηχανή Linux και οι απομακρυσμένες εργασίες Docker περιμένουν μέχρι 50 λεπτά** Κηρύξαμε ένα περιστατικό στις 12:48 αφού είδαμε έναν μεγάλο αριθμό θέσεων εργασίας να περιμένουν να ξεκινήσουν και να περιμένουν πολύ χρόνο για μηχανές και απομακρυσμένες εργασίες Docker. Στις 12:49, οι μηχανικοί είδαν ότι ο πάροχος των νεφών μας δεν μπορούσε να προμηθεύσει αρκετά περιστατικά. Οι καθυστερήσεις συνέχισαν να σκαρφαλώνουν καθώς ερευνούσαμε. Στις 13:13, αρχίσαμε να εξετάζουμε τη λογική που επιλέγει ένα διαφορετικό τύπο ή περιοχή περίπτωση όταν η πρώτη επιλογή μας δεν είναι διαθέσιμη. Στις 13:24, υποπτευθήκαμε ότι ένα ελάττωμα σε αυτή τη λογική μας εμπόδιζε να χρησιμοποιήσουμε άλλους τύπους περιπτώσεων στην πρωτεύουσά μας περιοχή, έτσι απενεργοποιήσαμε την υπολειπόμενη περιοχή μας και επιβεβαιώσαμε την αιτία του ελαττώματος. Οι μηχανικοί άρχισαν να δουλεύουν πάνω σε μια βάση και την ανέπτυξαν στις 14:49. Η υπηρεσία άρχισε να ζητά και άλλους τύπους περιπτώσεων και ξεκίνησε μηχανές σε μεγάλους αριθμούς. Στις 14:58, η ουρά των θέσεων εργασίας περιμένοντας για μια μηχανή έπεσε σταθερά. Μέσος χρόνος αναμονής σε όλες τις κατηγορίες πόρων συνέχισε να μειώνεται κατά την επόμενη ώρα, καθώς εργαστήκαμε μέσα από το παρελθόν των θέσεων εργασίας αναμονής. Στις 16:00, η ουρά των θέσεων εργασίας που περιμένουν για ένα μηχάνημα εκκαθαριστεί και ο αριθμός των θέσεων αναμονής επέστρεψε στο κανονικό. Μεταφέραμε τη σελίδα της κατάστασης στην παρακολούθηση στις 16:09 και λύσαμε το περιστατικό στις 16:35. **Μελλοντική πρόληψη και βελτίωση της διαδικασίας ** Παίρνουμε τα ακόλουθα μέτρα για να ενισχύσουμε την ανθεκτικότητα των ωρών έναρξης της εργασίας, συμπεριλαμβανομένης της διαφοροποίησης της προσφοράς, της εφεδρικής λογικής και της έγκαιρης ανίχνευσης. ** Διευρύνουμε τις περιοχές υπολογισμού μας. ** Στα επεισόδια της 7ης και 8ης Οκτωβρίου, ο πάροχος νέφους μας δεν μπορούσε να παράσχει αρκετές περιπτώσεις στις περιοχές που χρησιμοποιούσαμε. Προσθέτουμε νέες περιφέρειες στην εφεδρική λογική μας προκειμένου να χειριστούμε τις αιχμές για ζήτηση που ξεπερνούν τις προτιμώμενες περιοχές μας. **Καθορίζουμε τη λογική που επιλέγει ένα διαφορετικό τύπο περίπτωση. ** Στις 8 Οκτωβρίου, ένα ελάττωμα εμπόδισε την υπηρεσία παροχής μηχανών να χρησιμοποιήσει άλλους τύπους περιπτώσεων στην ίδια περιοχή. Αναπτύξαμε μια λύση κατά τη διάρκεια του συμβάντος και τώρα επανεξετάζουμε και επαναπροσδιορίζουμε αυτή τη λογική συνολικά, με δοκιμές, έτσι ώστε η έλλειψη ενός στιγμιότυπου να κινείται προς μια άλλη εργασία. ** Επεκτείνουμε τους τύπους περιπτώσεων που προσφέρουμε και εξασφαλίζουμε πρόσθετη χωρητικότητα. ** Εργαζόμαστε με τον πάροχο cloud μας για να διατηρήσουμε πρόσθετη ικανότητα στις υπάρχουσες περιοχές μας, και προσθέτουμε παραδείγματα που μπορούν να λειτουργήσουν οι θέσεις εργασίας. Η ζήτηση της βιομηχανίας για υπολογισμούς υψηλών επιδόσεων αυξάνεται. Διαφοροποιούμε πού και πώς πηγάζουμε δυναμικότητα έτσι ώστε οι πελάτες μας να μονώνονται από την διακύμανση της προσφοράς. ** Προσθέσαμε ένα δεύτερο Gen 2 Docker συστάδα έτσι η κίνηση εκρήξεις κατανέμονται σε δύο συστάδες. ** Προσθέτουμε επίσης ειδοποιήσεις σχετικά με τον κορεσμό του δίσκου του διακομιστή και σχετικά με το πόσο γρήγορα ο προγραμματιστής τοποθετεί τις θέσεις εργασίας, και μια ειδοποίηση που πυροδοτεί όταν ένας διακομιστής ξεκινά χωρίς τους γρήγορους δίσκους του σε χρήση. Κάναμε το σενάριο εγκατάστασης δίσκων αποτύχει με ένα σφάλμα, και αποκαταστήσαμε την αποστολή καταγραφής από αυτούς τους διακομιστές, έτσι ώστε ένα παρόμοιο πρόβλημα είναι ορατό νωρίτερα. Η εμπειρία των πελατών είναι η πρώτη μας προτεραιότητα, και δεσμευόμαστε να βελτιώνουμε συνεχώς την αξιοπιστία των συστημάτων μας ώστε να ταιριάζουν με την εμπιστοσύνη που μας εμπιστεύονται οι πελάτες μας. Ευχαριστούμε τους πελάτες μας για την υπομονή τους, ενώ η ομάδα μας εργάστηκε για την επίλυση αυτών των περιστατικών. Παρακαλούμε επικοινωνήστε με την ομάδα υποστήριξης μας με οποιεσδήποτε ερωτήσεις ή ανησυχίες.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 7 Οκτωβρίου 2026 στις 2:27 μ.μ. UTCinvestigating

   Ερευνούμε μια αύξηση των αποτυχιών των υποδομών για τις δουλειές των πελατών.

2. 7 Οκτωβρίου 2026 στις 2:44 μ.μ. UTCmonitoring

   Βλέπουμε σημάδια ανάρρωσης. Ο χρόνος αναμονής είναι ελαφρώς αυξημένος και παρακολουθούμε.

3. 7 Οκτωβρίου 2026 στις 3:21 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

4. 8 Οκτωβρίου 2026 στις 5:55 μ.μ. UTCpostmortem

   \"Περίληψη\" Μεταξύ 1 Οκτωβρίου και 8 Οκτωβρίου 2026, οι πελάτες του CircleCI αντιμετώπισαν πέντε ξεχωριστά περιστατικά στα οποία οι θέσεις εργασίας περίμεναν περισσότερο από το κανονικό για να ξεκινήσουν, ή δεν κατάφεραν να ξεκινήσουν. Τρία από τα περιστατικά οδηγήθηκαν από περιορισμένη διαθεσιμότητα από τον πάροχο cloud μας. Το ένα προκλήθηκε από ένα θέμα διαμόρφωσης στην υποδομή προγραμματισμού μας, και το ένα από όρια μνήμης σε μια εσωτερική υπηρεσία, την οποία θίξαμε κατά τη διάρκεια του συμβάντος. * ** 1 Οκτωβρίου 07:57 έως 10:24 UTC: ** Docker Gen 2 θέσεις εργασίας περίμενε μέχρι 30 λεπτά για να ξεκινήσει. Ένα θέμα ρύθμισης εμπόδισε τους διακομιστές προγραμματισμού Gen 2 να χρησιμοποιήσουν τους τοπικούς δίσκους υψηλής απόδοσης. Κατά τη διάρκεια μιας έκρηξης στην κυκλοφορία, οι εφεδρικοί δίσκοι κορεσμένοι και η τοποθέτηση εργασίας επιβραδύνθηκαν. * ** 7 Οκτωβρίου 13:27 έως 14:06 UTC: ** Οι εργασίες του μηχανήματος περίμεναν περισσότερο από το κανονικό, επειδή δεν μπορούσαμε να αποκτήσουμε αρκετές εικονικές μηχανές από τον πάροχο cloud μας. * ** 7 Οκτωβρίου 14:24 έως 15:21 UTC:** Ορισμένες θέσεις εργασίας απέτυχαν με σφάλμα υποδομής και οι ροές εργασίας καθυστέρησαν. Η υπηρεσία που δίνει σε κάθε εργασία τις ρυθμίσεις της κατά την εκκίνηση εξαντλήθηκε από τη μνήμη και επανεκκίνησε. * ** 7 Οκτωβρίου 18:49 έως 20:05 UTC: ** Docker Gen 2 θέσεις εργασίας περίμενε περισσότερο από το κανονικό, επειδή δεν θα μπορούσε να αποκτήσει αρκετά περιστατικά από τον πάροχο σύννεφο μας. * ** 8 Οκτωβρίου 12:48 έως 16:00 UTC:** Οι εργασίες μηχανών Linux και οι απομακρυσμένες εργασίες Docker περίμεναν μέχρι και 50 λεπτά για να ξεκινήσουν. Ο πάροχος cloud μας δεν είχε αρκετό από τον τύπο περίπτωσης που ζητάμε, και ένα ελάττωμα στη λογική που επιλέγει ένα διαφορετικό τύπο περίπτωση μας εμπόδισε να χρησιμοποιούμε εναλλακτικές λύσεις. Εργασίες που περίμεναν στη διάρκεια αυτών των περιστατικών καθυστέρησαν, δεν χάθηκαν. Πελάτες των οποίων οι θέσεις εργασίας απέτυχαν με σφάλμα υποδομής κατά τη διάρκεια του περιστατικού της 7ης Οκτωβρίου από τις 14:24 έως 15:21 Η UTC μπορεί να τις επανεκκινήσει. Οι αρχικές σελίδες κατάστασης μπορούν να βρεθούν παρακάτω: * [1 Οκτωβρίου - Καθυστερεί την έναρξη Gen 2 Docker Jobs] (https://status.circleci.com/incidents/22mrv46g6n7g) * [7 Οκτωβρίου - Καθυστέρηση στην έναρξη εργασιών εργασίας μηχανή] (https://status.circleci.com/incidents/tj6wdnfjwr64) * [7 Οκτωβρίου - Αυξημένο επίπεδο αποτυχιών στις θέσεις εργασίας των πελατών] (https://status.circleci.com/incidents/0z31ldjd8m5v) * [7 Οκτωβρίου - Αυξημένες ώρες αναμονής για το Docker Gen2](https://status.circleci.com/incidents/39rfrjmk5pvd) * [8 Οκτωβρίου - Αυξημένες ώρες αναμονής για εργαλειοδουλειές] (https://status.circleci.com/incidents/jn756xtsy4xg) ** Πίσω ** Κάθε δουλειά που τρέχει στο CircleCI χρειάζεται υπολογισμό. Από πού προέρχεται αυτός ο υπολογισμός εξαρτάται ο εκτελεστής. Οι εργασίες Docker εκτελούνται σε ομάδες servers που προγραμματίζουν εργασίες σε ένα στόλο των περιπτώσεων. Ο προγραμματιστής είναι το λογισμικό σε αυτούς τους διακομιστές που αποφασίζει ποια περίπτωση τρέχει κάθε εργασία. Οι θέσεις εργασίας της Gen 2 Docker λειτουργούσαν σε μια τέτοια ομάδα κατά τη στιγμή του συμβάντος της 1ης Οκτωβρίου. Gen 1 Οι εργασίες Docker είναι κατανεμημένες σε διάφορες ομάδες. Εργασίες μηχανών, συμπεριλαμβανομένων απομακρυσμένων εργασιών Docker, να πάρετε μια ειδική εικονική μηχανή. Μια απομακρυσμένη δουλειά Docker αντιμετωπίζεται ως εργασία μηχανής Linux από την υποβολή μέσω της προμήθειας. Η υπηρεσία μας για την παροχή μηχανών απαιτεί κάθε μηχανή από τον πάροχο cloud μας σε μία από τις δύο περιοχές που συνήθως χρησιμοποιούμε για εργασίες μηχανών. Όταν ο πάροχος δεν μπορεί να προμηθεύσει τον τύπο περίπτωσης που ζητάμε, η υπηρεσία υποχωρεί: απαιτεί διαφορετικό τύπο περίπτωσης, ή μια διαφορετική περιοχή, από έναν κατάλογο που διατηρούμε. Μια δουλειά περιμένει μέχρι να είναι διαθέσιμη μια μηχανή. Όταν οποιαδήποτε εργασία ξεκινά, ζητά μια υπηρεσία ρύθμισης της εργασίας για τη διαμόρφωση της. Αυτή η υπηρεσία λειτουργεί ως σύνολο λοβών, τα οποία είναι μικρά αντίγραφα του ίδιου προγράμματος. Εάν σταματήσουν πάρα πολλοί λοβοί, οι υπόλοιποι λοβοί μεταφέρουν περισσότερο φορτίο, και οι θέσεις εργασίας δεν μπορούν να ξεκινήσουν μέχρι να ανακάμψει η υπηρεσία. Αυτές οι διαδρομές εξαρτώνται από τρία είδη χωρητικότητας: την διαπερατότητα των συστημάτων προγραμματισμού μας, την παροχή των περιπτώσεων από τον πάροχο cloud μας, και τη μνήμη και τον αριθμό των αντιγράφων των υπηρεσιών που ξεκινούν θέσεις εργασίας. Ένα έλλειμμα σε οποιοδήποτε από αυτά κάνει τις δουλειές να περιμένουν ή να αποτύχουν. Τι έγινε; \(Όλες τις φορές UTC\) Οι δουλειές του Ντόκερ Τζεν 2 καθυστέρησαν μέχρι 30 λεπτά. Στις 07:44, η δραστηριότητα του δίσκου στους διακομιστές που προγραμματίζουν τις εργασίες του Gen 2 Docker αυξήθηκε στο 90% της χωρητικότητας και έμεινε εκεί. Στις 07:57, ο αριθμός των εργασιών Docker περιμένει να αρχίσει να αυξάνεται, και οι χρόνοι αναμονής αυξήθηκε με αυτό. Ένας αυτοματοποιημένος συναγερμός κάλεσε τον εφημερεύοντα μηχανικό στις 08:08. Δηλώσαμε ένα περιστατικό στις 08:42. Στις 08:43, οι μηχανικοί εντόπισαν μεγάλη καθυστέρηση στο δίσκο στους διακομιστές προγραμματισμού. Αρχικά πίστευαν ότι οι δίσκοι ήταν πολύ αργοί για το φορτίο, έτσι προετοίμασαν μια αλλαγή σε έναν πιο γρήγορο τύπο δίσκου. Στις 09:01, η ομάδα συμφώνησε σε δύο workstream: μετακινήστε τους διακομιστές σε ταχύτερους δίσκους, και προσθέστε μια δεύτερη ομάδα Gen 2, έτσι ώστε οι θέσεις εργασίας να χωριστούν σε δύο συστάδες. Στις 09:41, οι μηχανικοί βρήκαν τη βασική αιτία. Κάθε διακομιστής προγραμματισμού έχει γρήγορους δίσκους που συνδέονται απευθείας σε αυτό, και ο προγραμματιστής έχει ως στόχο να κρατήσει τα δεδομένα εργασίας του εκεί. Αυτοί οι διακομιστές τρέχουν σε μια εικόνα του λειτουργικού συστήματος, και σε αυτή την εικόνα οι γρήγοροι δίσκοι δεν χρησιμοποιούνταν. Ο προγραμματιστής έγραψε τα δεδομένα του σε πιο αργούς συνδεδεμένους με το δίκτυο δίσκους. Το σενάριο που δημιουργεί τους γρήγορους δίσκους απέτυχε χωρίς σφάλμα, και ένα κενό στην καταγραφή σε αυτούς τους διακομιστές έκρυψε την αποτυχία. Η κίνηση της Γεν 2 είχε επίσης γίνει ολοένα και πιο ραγδαία. Οι πιο αργοί δίσκοι κορεσμένοι κατά τη διάρκεια αυτών των εκρήξεων, και ο προγραμματιστής έπεσε πίσω. Οι ώρες αναμονής κορυφώθηκαν στις 09:54, όταν οι θέσεις εργασίας στη μεσαία τάξη πόρων Gen 2 περίμεναν μέχρι 30 λεπτά. Στις 09:55, οι μηχανικοί εφάρμοσαν μια επιδιόρθωση που έστηνε σωστά τους γρήγορους δίσκους. Στις 10:11, ο προγραμματιστής άρχισε να τοποθετεί τις θέσεις εργασίας γρηγορότερα, πράγμα που επιβεβαίωσε ότι οι servers θα μπορούσαν να συμβαδίσουν με νέες θέσεις εργασίας. Χρόνοι αναμονής για το μέσο της Γεν 2 έπεσαν στα 13 λεπτά στις 10:14, 7 λεπτά στις 10:17, και 1 λεπτό 30 δευτερόλεπτα στις 10:20. Μεταφέραμε τη σελίδα της κατάστασης στην παρακολούθηση στις 10:24 και λύσαμε το περιστατικό στις 10:45. Στις 11:20, η δεύτερη ομάδα Gen 2 άρχισε να λειτουργεί δουλειές. 7 Οκτωβρίου, 13:27 έως 14:06: Αυξημένες ώρες αναμονής για εργαλειομηχανές Κηρύξαμε ένα περιστατικό στις 13:27 αφού είδαμε υπερυψωμένες ώρες αναμονής και αναμονής. Αναρτήσαμε στη σελίδα κατάστασης στις 13:31. Στις 13:31, οι μηχανικοί είδαν ότι παλεύαμε να αποκτήσουμε εικονικές μηχανές για εργαλειομηχανές, και ότι ο αριθμός των θέσεων εργασίας που περίμεναν να ξεκινήσουν ήταν υψηλός κυρίως για εργαλειομηχανές. Στις 13:34, οι ώρες αναμονής ανυψώθηκαν σε εκτελεστές. Στις 13:48, οι χρόνοι αναμονής άρχισαν να αναρρώνουν καθώς γίνονταν διαθέσιμες περισσότερες μηχανές, και επιλύσαμε το περιστατικό στις 14:06. 7 Οκτωβρίου, 14:24 έως 15:21: Αποτυχίες και καθυστερήσεις στη ροή εργασίας** Λίγο μετά τη σήμανση του προηγούμενου συμβάντος, δηλώσαμε ένα νέο περιστατικό στις 14:24 λόγω της απότομης μείωσης του αριθμού των θέσεων εργασίας που υποβλήθηκαν στα συστήματα εκτέλεσης μας. Στις 14:26, οι μηχανικοί είδαν ότι οι λοβοί της υπηρεσίας ρύθμισης της εργασίας επανεκκινούσαν. Pods που επανεκκινούν αφήνουν λιγότερα αντίγραφα της υπηρεσίας για να απαντήσουν σε αιτήματα, και θέσεις εργασίας που δεν μπορούσαν να ανακτήσουν τη διαμόρφωση τους μετά από επανειλημμένες προσπάθειες απέτυχε με ένα σφάλμα υποδομής. Οι ροές εργασίας που ήδη έτρεχαν περίμεναν ενημερώσεις από θέσεις εργασίας που δεν είχαν ξεκινήσει. Στις 14:35, οι μηχανικοί αύξησαν την ποσότητα της διαθέσιμης μνήμης στους λοβούς και αύξησαν τον αριθμό των λοβών, γεγονός που έδωσε στην υπηρεσία περισσότερα αντίγραφα για να μοιραστεί το φορτίο. Επίσης, αυξήσαμε την ποσότητα της μνήμης που ήταν διαθέσιμη Οι υποβολές εργασίας άρχισαν να αναρρώνουν, και ο αριθμός των μηνυμάτων που ρέουν μέσω του συστήματος ροής εργασίας μας επέστρεψε σε φυσιολογικά επίπεδα. Στις 14:44, μεταφέραμε τη σελίδα κατάστασης στην παρακολούθηση. Τα pods στην υπηρεσία διαμόρφωσης εργασίας έφτασαν στα όρια μνήμης τους και επανεκκίνησαν. Αυξήσαμε τις κατανομές μνήμης και τις μετρήσεις της κάψουλας, και η υπηρεσία ανακτήθηκε. Στις 15:13, αυξήσαμε τον αριθμό των περιπτώσεων στα συμπλέγματα Docker της Γεν 2 μας έτσι ώστε να μπορούμε να εργαστούμε μέσα από το backlog των θέσεων αναμονής γρήγορα. Λύσαμε το περιστατικό στις 15:21. 7 Οκτωβρίου, 18:49 έως 20:05: Αυξημένες ώρες αναμονής για τις 2 δουλειές του Ντόκερ Ανακηρύξαμε ένα νέο περιστατικό στις 18:49 μετά το Docker Gen 2 χρόνοι αναμονής αυξήθηκαν. Στις 18:51, οι μηχανικοί επιβεβαίωσαν ότι η έλλειψη διαθέσιμων περιπτώσεων μας εμπόδιζε να αποκτήσουμε αρκετές από αυτές, οι οποίες ύψωσαν τις ώρες αναμονής. Οι χρόνοι αναμονής διαφέρουν ανάλογα με το μέγεθος της τάξης των πόρων. Στις 19:52, ο μέσος χρόνος αναμονής ήταν χαμηλότερος από μια ώρα νωρίτερα καθώς γινόταν διαθέσιμη περισσότερη χωρητικότητα, αν και συνεχίστηκαν οι σύντομες αιχμές, και μεταφέραμε τη σελίδα κατάστασης στην παρακολούθηση. Λύσαμε το περιστατικό στις 20:05. 8 Οκτωβρίου: Η μηχανή Linux και οι απομακρυσμένες εργασίες Docker περιμένουν μέχρι 50 λεπτά** Κηρύξαμε ένα περιστατικό στις 12:48 αφού είδαμε έναν μεγάλο αριθμό θέσεων εργασίας να περιμένουν να ξεκινήσουν και να περιμένουν πολύ χρόνο για μηχανές και απομακρυσμένες εργασίες Docker. Στις 12:49, οι μηχανικοί είδαν ότι ο πάροχος των νεφών μας δεν μπορούσε να προμηθεύσει αρκετά περιστατικά. Οι καθυστερήσεις συνέχισαν να σκαρφαλώνουν καθώς ερευνούσαμε. Στις 13:13, αρχίσαμε να εξετάζουμε τη λογική που επιλέγει ένα διαφορετικό τύπο ή περιοχή περίπτωση όταν η πρώτη επιλογή μας δεν είναι διαθέσιμη. Στις 13:24, υποπτευθήκαμε ότι ένα ελάττωμα σε αυτή τη λογική μας εμπόδιζε να χρησιμοποιήσουμε άλλους τύπους περιπτώσεων στην πρωτεύουσά μας περιοχή, έτσι απενεργοποιήσαμε την υπολειπόμενη περιοχή μας και επιβεβαιώσαμε την αιτία του ελαττώματος. Οι μηχανικοί άρχισαν να δουλεύουν πάνω σε μια βάση και την ανέπτυξαν στις 14:49. Η υπηρεσία άρχισε να ζητά και άλλους τύπους περιπτώσεων και ξεκίνησε μηχανές σε μεγάλους αριθμούς. Στις 14:58, η ουρά των θέσεων εργασίας περιμένοντας για μια μηχανή έπεσε σταθερά. Μέσος χρόνος αναμονής σε όλες τις κατηγορίες πόρων συνέχισε να μειώνεται κατά την επόμενη ώρα, καθώς εργαστήκαμε μέσα από το παρελθόν των θέσεων εργασίας αναμονής. Στις 16:00, η ουρά των θέσεων εργασίας που περιμένουν για ένα μηχάνημα εκκαθαριστεί και ο αριθμός των θέσεων αναμονής επέστρεψε στο κανονικό. Μεταφέραμε τη σελίδα της κατάστασης στην παρακολούθηση στις 16:09 και λύσαμε το περιστατικό στις 16:35. **Μελλοντική πρόληψη και βελτίωση της διαδικασίας ** Παίρνουμε τα ακόλουθα μέτρα για να ενισχύσουμε την ανθεκτικότητα των ωρών έναρξης της εργασίας, συμπεριλαμβανομένης της διαφοροποίησης της προσφοράς, της εφεδρικής λογικής και της έγκαιρης ανίχνευσης. ** Διευρύνουμε τις περιοχές υπολογισμού μας. ** Στα επεισόδια της 7ης και 8ης Οκτωβρίου, ο πάροχος νέφους μας δεν μπορούσε να παράσχει αρκετές περιπτώσεις στις περιοχές που χρησιμοποιούσαμε. Προσθέτουμε νέες περιφέρειες στην εφεδρική λογική μας προκειμένου να χειριστούμε τις αιχμές για ζήτηση που ξεπερνούν τις προτιμώμενες περιοχές μας. **Καθορίζουμε τη λογική που επιλέγει ένα διαφορετικό τύπο περίπτωση. ** Στις 8 Οκτωβρίου, ένα ελάττωμα εμπόδισε την υπηρεσία παροχής μηχανών να χρησιμοποιήσει άλλους τύπους περιπτώσεων στην ίδια περιοχή. Αναπτύξαμε μια λύση κατά τη διάρκεια του συμβάντος και τώρα επανεξετάζουμε και επαναπροσδιορίζουμε αυτή τη λογική συνολικά, με δοκιμές, έτσι ώστε η έλλειψη ενός στιγμιότυπου να κινείται προς μια άλλη εργασία. ** Επεκτείνουμε τους τύπους περιπτώσεων που προσφέρουμε και εξασφαλίζουμε πρόσθετη χωρητικότητα. ** Εργαζόμαστε με τον πάροχο cloud μας για να διατηρήσουμε πρόσθετη ικανότητα στις υπάρχουσες περιοχές μας, και προσθέτουμε παραδείγματα που μπορούν να λειτουργήσουν οι θέσεις εργασίας. Η ζήτηση της βιομηχανίας για υπολογισμούς υψηλών επιδόσεων αυξάνεται. Διαφοροποιούμε πού και πώς πηγάζουμε δυναμικότητα έτσι ώστε οι πελάτες μας να μονώνονται από την διακύμανση της προσφοράς. ** Προσθέσαμε ένα δεύτερο Gen 2 Docker συστάδα έτσι η κίνηση εκρήξεις κατανέμονται σε δύο συστάδες. ** Προσθέτουμε επίσης ειδοποιήσεις σχετικά με τον κορεσμό του δίσκου του διακομιστή και σχετικά με το πόσο γρήγορα ο προγραμματιστής τοποθετεί τις θέσεις εργασίας, και μια ειδοποίηση που πυροδοτεί όταν ένας διακομιστής ξεκινά χωρίς τους γρήγορους δίσκους του σε χρήση. Κάναμε το σενάριο εγκατάστασης δίσκων αποτύχει με ένα σφάλμα, και αποκαταστήσαμε την αποστολή καταγραφής από αυτούς τους διακομιστές, έτσι ώστε ένα παρόμοιο πρόβλημα είναι ορατό νωρίτερα. Η εμπειρία των πελατών είναι η πρώτη μας προτεραιότητα, και δεσμευόμαστε να βελτιώνουμε συνεχώς την αξιοπιστία των συστημάτων μας ώστε να ταιριάζουν με την εμπιστοσύνη που μας εμπιστεύονται οι πελάτες μας. Ευχαριστούμε τους πελάτες μας για την υπομονή τους, ενώ η ομάδα μας εργάστηκε για την επίλυση αυτών των περιστατικών. Παρακαλούμε επικοινωνήστε με την ομάδα υποστήριξης μας με οποιεσδήποτε ερωτήσεις ή ανησυχίες.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 7 Οκτωβρίου 2026 στις 1:40 μ.μ. UTCinvestigating

   Οι πελάτες μπορεί να βιώνουν αυξημένα χρόνους αναμονής για τις εργασίες εργασίας Machine, ερευνούμε τη βασική αιτία και θα ενημερώσει όταν γνωρίζουμε περισσότερα.

2. 7 Οκτωβρίου 2026 στις 1:52 μ.μ. UTCmonitoring

   Βλέπουμε σημάδια ανάκαμψης και παρακολούθησης της κατάστασης.

3. 7 Οκτωβρίου 2026 στις 2:06 μ.μ. UTCresolved

   Το περιστατικό λύθηκε. Σας ευχαριστώ για την υπομονή σας

4. 8 Οκτωβρίου 2026 στις 5:55 μ.μ. UTCpostmortem

   \"Περίληψη\" Μεταξύ 1 Οκτωβρίου και 8 Οκτωβρίου 2026, οι πελάτες του CircleCI αντιμετώπισαν πέντε ξεχωριστά περιστατικά στα οποία οι θέσεις εργασίας περίμεναν περισσότερο από το κανονικό για να ξεκινήσουν, ή δεν κατάφεραν να ξεκινήσουν. Τρία από τα περιστατικά οδηγήθηκαν από περιορισμένη διαθεσιμότητα από τον πάροχο cloud μας. Το ένα προκλήθηκε από ένα θέμα διαμόρφωσης στην υποδομή προγραμματισμού μας, και το ένα από όρια μνήμης σε μια εσωτερική υπηρεσία, την οποία θίξαμε κατά τη διάρκεια του συμβάντος. * ** 1 Οκτωβρίου 07:57 έως 10:24 UTC: ** Docker Gen 2 θέσεις εργασίας περίμενε μέχρι 30 λεπτά για να ξεκινήσει. Ένα θέμα ρύθμισης εμπόδισε τους διακομιστές προγραμματισμού Gen 2 να χρησιμοποιήσουν τους τοπικούς δίσκους υψηλής απόδοσης. Κατά τη διάρκεια μιας έκρηξης στην κυκλοφορία, οι εφεδρικοί δίσκοι κορεσμένοι και η τοποθέτηση εργασίας επιβραδύνθηκαν. * ** 7 Οκτωβρίου 13:27 έως 14:06 UTC: ** Οι εργασίες του μηχανήματος περίμεναν περισσότερο από το κανονικό, επειδή δεν μπορούσαμε να αποκτήσουμε αρκετές εικονικές μηχανές από τον πάροχο cloud μας. * ** 7 Οκτωβρίου 14:24 έως 15:21 UTC:** Ορισμένες θέσεις εργασίας απέτυχαν με σφάλμα υποδομής και οι ροές εργασίας καθυστέρησαν. Η υπηρεσία που δίνει σε κάθε εργασία τις ρυθμίσεις της κατά την εκκίνηση εξαντλήθηκε από τη μνήμη και επανεκκίνησε. * ** 7 Οκτωβρίου 18:49 έως 20:05 UTC: ** Docker Gen 2 θέσεις εργασίας περίμενε περισσότερο από το κανονικό, επειδή δεν θα μπορούσε να αποκτήσει αρκετά περιστατικά από τον πάροχο σύννεφο μας. * ** 8 Οκτωβρίου 12:48 έως 16:00 UTC:** Οι εργασίες μηχανών Linux και οι απομακρυσμένες εργασίες Docker περίμεναν μέχρι και 50 λεπτά για να ξεκινήσουν. Ο πάροχος cloud μας δεν είχε αρκετό από τον τύπο περίπτωσης που ζητάμε, και ένα ελάττωμα στη λογική που επιλέγει ένα διαφορετικό τύπο περίπτωση μας εμπόδισε να χρησιμοποιούμε εναλλακτικές λύσεις. Εργασίες που περίμεναν στη διάρκεια αυτών των περιστατικών καθυστέρησαν, δεν χάθηκαν. Πελάτες των οποίων οι θέσεις εργασίας απέτυχαν με σφάλμα υποδομής κατά τη διάρκεια του περιστατικού της 7ης Οκτωβρίου από τις 14:24 έως 15:21 Η UTC μπορεί να τις επανεκκινήσει. Οι αρχικές σελίδες κατάστασης μπορούν να βρεθούν παρακάτω: * [1 Οκτωβρίου - Καθυστερεί την έναρξη Gen 2 Docker Jobs] (https://status.circleci.com/incidents/22mrv46g6n7g) * [7 Οκτωβρίου - Καθυστέρηση στην έναρξη εργασιών εργασίας μηχανή] (https://status.circleci.com/incidents/tj6wdnfjwr64) * [7 Οκτωβρίου - Αυξημένο επίπεδο αποτυχιών στις θέσεις εργασίας των πελατών] (https://status.circleci.com/incidents/0z31ldjd8m5v) * [7 Οκτωβρίου - Αυξημένες ώρες αναμονής για το Docker Gen2](https://status.circleci.com/incidents/39rfrjmk5pvd) * [8 Οκτωβρίου - Αυξημένες ώρες αναμονής για εργαλειοδουλειές] (https://status.circleci.com/incidents/jn756xtsy4xg) ** Πίσω ** Κάθε δουλειά που τρέχει στο CircleCI χρειάζεται υπολογισμό. Από πού προέρχεται αυτός ο υπολογισμός εξαρτάται ο εκτελεστής. Οι εργασίες Docker εκτελούνται σε ομάδες servers που προγραμματίζουν εργασίες σε ένα στόλο των περιπτώσεων. Ο προγραμματιστής είναι το λογισμικό σε αυτούς τους διακομιστές που αποφασίζει ποια περίπτωση τρέχει κάθε εργασία. Οι θέσεις εργασίας της Gen 2 Docker λειτουργούσαν σε μια τέτοια ομάδα κατά τη στιγμή του συμβάντος της 1ης Οκτωβρίου. Gen 1 Οι εργασίες Docker είναι κατανεμημένες σε διάφορες ομάδες. Εργασίες μηχανών, συμπεριλαμβανομένων απομακρυσμένων εργασιών Docker, να πάρετε μια ειδική εικονική μηχανή. Μια απομακρυσμένη δουλειά Docker αντιμετωπίζεται ως εργασία μηχανής Linux από την υποβολή μέσω της προμήθειας. Η υπηρεσία μας για την παροχή μηχανών απαιτεί κάθε μηχανή από τον πάροχο cloud μας σε μία από τις δύο περιοχές που συνήθως χρησιμοποιούμε για εργασίες μηχανών. Όταν ο πάροχος δεν μπορεί να προμηθεύσει τον τύπο περίπτωσης που ζητάμε, η υπηρεσία υποχωρεί: απαιτεί διαφορετικό τύπο περίπτωσης, ή μια διαφορετική περιοχή, από έναν κατάλογο που διατηρούμε. Μια δουλειά περιμένει μέχρι να είναι διαθέσιμη μια μηχανή. Όταν οποιαδήποτε εργασία ξεκινά, ζητά μια υπηρεσία ρύθμισης της εργασίας για τη διαμόρφωση της. Αυτή η υπηρεσία λειτουργεί ως σύνολο λοβών, τα οποία είναι μικρά αντίγραφα του ίδιου προγράμματος. Εάν σταματήσουν πάρα πολλοί λοβοί, οι υπόλοιποι λοβοί μεταφέρουν περισσότερο φορτίο, και οι θέσεις εργασίας δεν μπορούν να ξεκινήσουν μέχρι να ανακάμψει η υπηρεσία. Αυτές οι διαδρομές εξαρτώνται από τρία είδη χωρητικότητας: την διαπερατότητα των συστημάτων προγραμματισμού μας, την παροχή των περιπτώσεων από τον πάροχο cloud μας, και τη μνήμη και τον αριθμό των αντιγράφων των υπηρεσιών που ξεκινούν θέσεις εργασίας. Ένα έλλειμμα σε οποιοδήποτε από αυτά κάνει τις δουλειές να περιμένουν ή να αποτύχουν. Τι έγινε; \(Όλες τις φορές UTC\) Οι δουλειές του Ντόκερ Τζεν 2 καθυστέρησαν μέχρι 30 λεπτά. Στις 07:44, η δραστηριότητα του δίσκου στους διακομιστές που προγραμματίζουν τις εργασίες του Gen 2 Docker αυξήθηκε στο 90% της χωρητικότητας και έμεινε εκεί. Στις 07:57, ο αριθμός των εργασιών Docker περιμένει να αρχίσει να αυξάνεται, και οι χρόνοι αναμονής αυξήθηκε με αυτό. Ένας αυτοματοποιημένος συναγερμός κάλεσε τον εφημερεύοντα μηχανικό στις 08:08. Δηλώσαμε ένα περιστατικό στις 08:42. Στις 08:43, οι μηχανικοί εντόπισαν μεγάλη καθυστέρηση στο δίσκο στους διακομιστές προγραμματισμού. Αρχικά πίστευαν ότι οι δίσκοι ήταν πολύ αργοί για το φορτίο, έτσι προετοίμασαν μια αλλαγή σε έναν πιο γρήγορο τύπο δίσκου. Στις 09:01, η ομάδα συμφώνησε σε δύο workstream: μετακινήστε τους διακομιστές σε ταχύτερους δίσκους, και προσθέστε μια δεύτερη ομάδα Gen 2, έτσι ώστε οι θέσεις εργασίας να χωριστούν σε δύο συστάδες. Στις 09:41, οι μηχανικοί βρήκαν τη βασική αιτία. Κάθε διακομιστής προγραμματισμού έχει γρήγορους δίσκους που συνδέονται απευθείας σε αυτό, και ο προγραμματιστής έχει ως στόχο να κρατήσει τα δεδομένα εργασίας του εκεί. Αυτοί οι διακομιστές τρέχουν σε μια εικόνα του λειτουργικού συστήματος, και σε αυτή την εικόνα οι γρήγοροι δίσκοι δεν χρησιμοποιούνταν. Ο προγραμματιστής έγραψε τα δεδομένα του σε πιο αργούς συνδεδεμένους με το δίκτυο δίσκους. Το σενάριο που δημιουργεί τους γρήγορους δίσκους απέτυχε χωρίς σφάλμα, και ένα κενό στην καταγραφή σε αυτούς τους διακομιστές έκρυψε την αποτυχία. Η κίνηση της Γεν 2 είχε επίσης γίνει ολοένα και πιο ραγδαία. Οι πιο αργοί δίσκοι κορεσμένοι κατά τη διάρκεια αυτών των εκρήξεων, και ο προγραμματιστής έπεσε πίσω. Οι ώρες αναμονής κορυφώθηκαν στις 09:54, όταν οι θέσεις εργασίας στη μεσαία τάξη πόρων Gen 2 περίμεναν μέχρι 30 λεπτά. Στις 09:55, οι μηχανικοί εφάρμοσαν μια επιδιόρθωση που έστηνε σωστά τους γρήγορους δίσκους. Στις 10:11, ο προγραμματιστής άρχισε να τοποθετεί τις θέσεις εργασίας γρηγορότερα, πράγμα που επιβεβαίωσε ότι οι servers θα μπορούσαν να συμβαδίσουν με νέες θέσεις εργασίας. Χρόνοι αναμονής για το μέσο της Γεν 2 έπεσαν στα 13 λεπτά στις 10:14, 7 λεπτά στις 10:17, και 1 λεπτό 30 δευτερόλεπτα στις 10:20. Μεταφέραμε τη σελίδα της κατάστασης στην παρακολούθηση στις 10:24 και λύσαμε το περιστατικό στις 10:45. Στις 11:20, η δεύτερη ομάδα Gen 2 άρχισε να λειτουργεί δουλειές. 7 Οκτωβρίου, 13:27 έως 14:06: Αυξημένες ώρες αναμονής για εργαλειομηχανές Κηρύξαμε ένα περιστατικό στις 13:27 αφού είδαμε υπερυψωμένες ώρες αναμονής και αναμονής. Αναρτήσαμε στη σελίδα κατάστασης στις 13:31. Στις 13:31, οι μηχανικοί είδαν ότι παλεύαμε να αποκτήσουμε εικονικές μηχανές για εργαλειομηχανές, και ότι ο αριθμός των θέσεων εργασίας που περίμεναν να ξεκινήσουν ήταν υψηλός κυρίως για εργαλειομηχανές. Στις 13:34, οι ώρες αναμονής ανυψώθηκαν σε εκτελεστές. Στις 13:48, οι χρόνοι αναμονής άρχισαν να αναρρώνουν καθώς γίνονταν διαθέσιμες περισσότερες μηχανές, και επιλύσαμε το περιστατικό στις 14:06. 7 Οκτωβρίου, 14:24 έως 15:21: Αποτυχίες και καθυστερήσεις στη ροή εργασίας** Λίγο μετά τη σήμανση του προηγούμενου συμβάντος, δηλώσαμε ένα νέο περιστατικό στις 14:24 λόγω της απότομης μείωσης του αριθμού των θέσεων εργασίας που υποβλήθηκαν στα συστήματα εκτέλεσης μας. Στις 14:26, οι μηχανικοί είδαν ότι οι λοβοί της υπηρεσίας ρύθμισης της εργασίας επανεκκινούσαν. Pods που επανεκκινούν αφήνουν λιγότερα αντίγραφα της υπηρεσίας για να απαντήσουν σε αιτήματα, και θέσεις εργασίας που δεν μπορούσαν να ανακτήσουν τη διαμόρφωση τους μετά από επανειλημμένες προσπάθειες απέτυχε με ένα σφάλμα υποδομής. Οι ροές εργασίας που ήδη έτρεχαν περίμεναν ενημερώσεις από θέσεις εργασίας που δεν είχαν ξεκινήσει. Στις 14:35, οι μηχανικοί αύξησαν την ποσότητα της διαθέσιμης μνήμης στους λοβούς και αύξησαν τον αριθμό των λοβών, γεγονός που έδωσε στην υπηρεσία περισσότερα αντίγραφα για να μοιραστεί το φορτίο. Επίσης, αυξήσαμε την ποσότητα της μνήμης που ήταν διαθέσιμη Οι υποβολές εργασίας άρχισαν να αναρρώνουν, και ο αριθμός των μηνυμάτων που ρέουν μέσω του συστήματος ροής εργασίας μας επέστρεψε σε φυσιολογικά επίπεδα. Στις 14:44, μεταφέραμε τη σελίδα κατάστασης στην παρακολούθηση. Τα pods στην υπηρεσία διαμόρφωσης εργασίας έφτασαν στα όρια μνήμης τους και επανεκκίνησαν. Αυξήσαμε τις κατανομές μνήμης και τις μετρήσεις της κάψουλας, και η υπηρεσία ανακτήθηκε. Στις 15:13, αυξήσαμε τον αριθμό των περιπτώσεων στα συμπλέγματα Docker της Γεν 2 μας έτσι ώστε να μπορούμε να εργαστούμε μέσα από το backlog των θέσεων αναμονής γρήγορα. Λύσαμε το περιστατικό στις 15:21. 7 Οκτωβρίου, 18:49 έως 20:05: Αυξημένες ώρες αναμονής για τις 2 δουλειές του Ντόκερ Ανακηρύξαμε ένα νέο περιστατικό στις 18:49 μετά το Docker Gen 2 χρόνοι αναμονής αυξήθηκαν. Στις 18:51, οι μηχανικοί επιβεβαίωσαν ότι η έλλειψη διαθέσιμων περιπτώσεων μας εμπόδιζε να αποκτήσουμε αρκετές από αυτές, οι οποίες ύψωσαν τις ώρες αναμονής. Οι χρόνοι αναμονής διαφέρουν ανάλογα με το μέγεθος της τάξης των πόρων. Στις 19:52, ο μέσος χρόνος αναμονής ήταν χαμηλότερος από μια ώρα νωρίτερα καθώς γινόταν διαθέσιμη περισσότερη χωρητικότητα, αν και συνεχίστηκαν οι σύντομες αιχμές, και μεταφέραμε τη σελίδα κατάστασης στην παρακολούθηση. Λύσαμε το περιστατικό στις 20:05. 8 Οκτωβρίου: Η μηχανή Linux και οι απομακρυσμένες εργασίες Docker περιμένουν μέχρι 50 λεπτά** Κηρύξαμε ένα περιστατικό στις 12:48 αφού είδαμε έναν μεγάλο αριθμό θέσεων εργασίας να περιμένουν να ξεκινήσουν και να περιμένουν πολύ χρόνο για μηχανές και απομακρυσμένες εργασίες Docker. Στις 12:49, οι μηχανικοί είδαν ότι ο πάροχος των νεφών μας δεν μπορούσε να προμηθεύσει αρκετά περιστατικά. Οι καθυστερήσεις συνέχισαν να σκαρφαλώνουν καθώς ερευνούσαμε. Στις 13:13, αρχίσαμε να εξετάζουμε τη λογική που επιλέγει ένα διαφορετικό τύπο ή περιοχή περίπτωση όταν η πρώτη επιλογή μας δεν είναι διαθέσιμη. Στις 13:24, υποπτευθήκαμε ότι ένα ελάττωμα σε αυτή τη λογική μας εμπόδιζε να χρησιμοποιήσουμε άλλους τύπους περιπτώσεων στην πρωτεύουσά μας περιοχή, έτσι απενεργοποιήσαμε την υπολειπόμενη περιοχή μας και επιβεβαιώσαμε την αιτία του ελαττώματος. Οι μηχανικοί άρχισαν να δουλεύουν πάνω σε μια βάση και την ανέπτυξαν στις 14:49. Η υπηρεσία άρχισε να ζητά και άλλους τύπους περιπτώσεων και ξεκίνησε μηχανές σε μεγάλους αριθμούς. Στις 14:58, η ουρά των θέσεων εργασίας περιμένοντας για μια μηχανή έπεσε σταθερά. Μέσος χρόνος αναμονής σε όλες τις κατηγορίες πόρων συνέχισε να μειώνεται κατά την επόμενη ώρα, καθώς εργαστήκαμε μέσα από το παρελθόν των θέσεων εργασίας αναμονής. Στις 16:00, η ουρά των θέσεων εργασίας που περιμένουν για ένα μηχάνημα εκκαθαριστεί και ο αριθμός των θέσεων αναμονής επέστρεψε στο κανονικό. Μεταφέραμε τη σελίδα της κατάστασης στην παρακολούθηση στις 16:09 και λύσαμε το περιστατικό στις 16:35. **Μελλοντική πρόληψη και βελτίωση της διαδικασίας ** Παίρνουμε τα ακόλουθα μέτρα για να ενισχύσουμε την ανθεκτικότητα των ωρών έναρξης της εργασίας, συμπεριλαμβανομένης της διαφοροποίησης της προσφοράς, της εφεδρικής λογικής και της έγκαιρης ανίχνευσης. ** Διευρύνουμε τις περιοχές υπολογισμού μας. ** Στα επεισόδια της 7ης και 8ης Οκτωβρίου, ο πάροχος νέφους μας δεν μπορούσε να παράσχει αρκετές περιπτώσεις στις περιοχές που χρησιμοποιούσαμε. Προσθέτουμε νέες περιφέρειες στην εφεδρική λογική μας προκειμένου να χειριστούμε τις αιχμές για ζήτηση που ξεπερνούν τις προτιμώμενες περιοχές μας. **Καθορίζουμε τη λογική που επιλέγει ένα διαφορετικό τύπο περίπτωση. ** Στις 8 Οκτωβρίου, ένα ελάττωμα εμπόδισε την υπηρεσία παροχής μηχανών να χρησιμοποιήσει άλλους τύπους περιπτώσεων στην ίδια περιοχή. Αναπτύξαμε μια λύση κατά τη διάρκεια του συμβάντος και τώρα επανεξετάζουμε και επαναπροσδιορίζουμε αυτή τη λογική συνολικά, με δοκιμές, έτσι ώστε η έλλειψη ενός στιγμιότυπου να κινείται προς μια άλλη εργασία. ** Επεκτείνουμε τους τύπους περιπτώσεων που προσφέρουμε και εξασφαλίζουμε πρόσθετη χωρητικότητα. ** Εργαζόμαστε με τον πάροχο cloud μας για να διατηρήσουμε πρόσθετη ικανότητα στις υπάρχουσες περιοχές μας, και προσθέτουμε παραδείγματα που μπορούν να λειτουργήσουν οι θέσεις εργασίας. Η ζήτηση της βιομηχανίας για υπολογισμούς υψηλών επιδόσεων αυξάνεται. Διαφοροποιούμε πού και πώς πηγάζουμε δυναμικότητα έτσι ώστε οι πελάτες μας να μονώνονται από την διακύμανση της προσφοράς. ** Προσθέσαμε ένα δεύτερο Gen 2 Docker συστάδα έτσι η κίνηση εκρήξεις κατανέμονται σε δύο συστάδες. ** Προσθέτουμε επίσης ειδοποιήσεις σχετικά με τον κορεσμό του δίσκου του διακομιστή και σχετικά με το πόσο γρήγορα ο προγραμματιστής τοποθετεί τις θέσεις εργασίας, και μια ειδοποίηση που πυροδοτεί όταν ένας διακομιστής ξεκινά χωρίς τους γρήγορους δίσκους του σε χρήση. Κάναμε το σενάριο εγκατάστασης δίσκων αποτύχει με ένα σφάλμα, και αποκαταστήσαμε την αποστολή καταγραφής από αυτούς τους διακομιστές, έτσι ώστε ένα παρόμοιο πρόβλημα είναι ορατό νωρίτερα. Η εμπειρία των πελατών είναι η πρώτη μας προτεραιότητα, και δεσμευόμαστε να βελτιώνουμε συνεχώς την αξιοπιστία των συστημάτων μας ώστε να ταιριάζουν με την εμπιστοσύνη που μας εμπιστεύονται οι πελάτες μας. Ευχαριστούμε τους πελάτες μας για την υπομονή τους, ενώ η ομάδα μας εργάστηκε για την επίλυση αυτών των περιστατικών. Παρακαλούμε επικοινωνήστε με την ομάδα υποστήριξης μας με οποιεσδήποτε ερωτήσεις ή ανησυχίες.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 6 Οκτωβρίου 2026 στις 4:00 μ.μ. UTCinvestigating

   Τι έχει αντίκτυπο Πελάτες που χρησιμοποιούν αγωγούς CircleCI και ροές εργασίας, συμπεριλαμβανομένης της εμφάνισης δεδομένων UI, εξερχόμενη ειδοποιήσεις, και outbound webhooks. Τι να περιμένεις; Καθυστερήσεις σε αγωγούς που δημιουργούνται και σε ροές εργασίας και θέσεις εργασίας που ξεκινούν. Η εργασία, η ροή εργασιών και τα δεδομένα των αγωγών μπορεί να χρειαστούν μέχρι 15 λεπτά για να εμφανιστούν στο UI. Οι εξερχόμενες ειδοποιήσεις και τα webhooks καθυστερούν μέχρι 1 λεπτό. Επόμενη ενημέρωση Θα παρέχουμε άλλη ενημέρωση εντός 30 λεπτών ή καθώς έχουμε περισσότερες πληροφορίες να μοιραστούμε.

2. 6 Οκτωβρίου 2026 στις 4:10 μ.μ. UTCinvestigating

   Από τις 15:47 UTC, οι πελάτες μπορούν επίσης να δουν αποτυχημένες θέσεις εργασίας, εκτός από τις καθυστερήσεις που αναφέρθηκαν προηγουμένως. Οι μηχανικοί μας συνεχίζουν να ερευνούν και να μετριάζουν το θέμα.

3. 6 Οκτωβρίου 2026 στις 4:31 μ.μ. UTCidentified

   Από τις 16:02 UTC, οι αγωγοί αποτυγχάνουν εντελώς, οπότε δεν λειτουργούν σε αυτό το σημείο νέες ροές εργασίας ή θέσεις εργασίας. Αυτό είναι εκτός από τις καθυστερήσεις και τις αποτυχημένες θέσεις εργασίας που αναφέρθηκαν νωρίτερα. Οι μηχανικοί μας συνεχίζουν να εργάζονται για τον μετριασμό του θέματος, και θα μοιραστούμε περισσότερες πληροφορίες μόλις τις έχουμε.

4. 6 Οκτωβρίου 2026 στις 4:42 μ.μ. UTCidentified

   Από τις 16:39 UTC, αρχίζουμε να βλέπουμε ανάκαμψη για νέους αγωγούς και ροές εργασίας να υποβάλλονται, και οι θέσεις εργασίας αρχίζουν να λειτουργούν και πάλι. Οι μηχανικοί μας συνεχίζουν να εργάζονται για την ανάκαμψη και θα μοιραστούν περισσότερες πληροφορίες μόλις τις έχουμε.

5. 6 Οκτωβρίου 2026 στις 5:21 μ.μ. UTCidentified

   Ενώ οι αγωγοί, οι ροές εργασίας και οι θέσεις εργασίας λειτουργούν και πάλι, οι πελάτες μπορεί να συνεχίσουν να βλέπουν περισσότερες από τις συνήθεις καθυστερήσεις μεταξύ των θέσεων εργασίας σε μια ροή εργασίας, και οι ειδοποιήσεις που προέρχονται από καθυστερήσεις κατά περίπου 1 λεπτό. Οι ειδοποιήσεις και οι ενημερώσεις κατάστασης στο σύστημα ελέγχου εκδόσεων σας αρχίζουν να βγαίνουν και πάλι. Οι μηχανικοί μας συνεχίζουν να εργάζονται για πλήρη ανάρρωση.

6. 6 Οκτωβρίου 2026 στις 6:04 μ.μ. UTCidentified

   Οι πελάτες συνεχίζουν να βιώνουν περισσότερες από τις συνήθεις καθυστερήσεις μεταξύ των θέσεων εργασίας σε μια ροή εργασίας, καθώς και καθυστερήσεις στις εξερχόμενη ειδοποιήσεις. Σας ευχαριστούμε για την υπομονή σας, ενώ οι μηχανικοί μας συνεχίζουν να ερευνούν και να εργάζονται για τον μετριασμό του θέματος. Θα μοιραστούμε μια άλλη ενημέρωση μέσα στα επόμενα 30 λεπτά, ή νωρίτερα αν γίνουν διαθέσιμες περισσότερες πληροφορίες.

7. 6 Οκτωβρίου 2026 στις 6:55 μ.μ. UTCidentified

   Οι πελάτες συνεχίζουν να βιώνουν περισσότερες από τις συνήθεις καθυστερήσεις πριν αρχίσουν οι ροές εργασίας και οι θέσεις εργασίας, σε ορισμένες περιπτώσεις μέχρι περίπου 30 λεπτά. Αυτό βελτιώνεται από νωρίτερα στο περιστατικό, αλλά παραμένουν καθυστερήσεις. Οι καθυστερήσεις στις εξερχόμενες κοινοποιήσεις έχουν βελτιωθεί. Σας ευχαριστούμε για την υπομονή σας, ενώ οι μηχανικοί μας συνεχίζουν να εργάζονται για την αποκατάσταση της κανονικής ώρας έναρξης εργασίας. Θα μοιραστούμε μια άλλη ενημέρωση μέσα στα επόμενα 30 λεπτά, ή νωρίτερα αν γίνουν διαθέσιμες περισσότερες πληροφορίες.

8. 6 Οκτωβρίου 2026 στις 7:16 μ.μ. UTCidentified

   Οι πελάτες συνεχίζουν να βιώνουν καθυστερήσεις. Οι περισσότεροι τώρα αρχίζουν μέσα σε περίπου 20 λεπτά, βελτιωμένοι από περίπου 40 λεπτά νωρίτερα στο περιστατικό. Ένας πολύ μικρός αριθμός ροών εργασίας μπορεί να περίμενε πάνω από 1 ώρα. Οι μηχανικοί μας έχουν κάνει αλλαγές που έχουν βελτιώσει τη σταθερότητα των υπηρεσιών, και η υπόλοιπη καθυστέρηση οφείλεται σε μια backlog των εργασιών που δημιουργήθηκαν κατά τη διάρκεια του συμβάντος. Η καθυστέρηση μειώνεται και επικεντρωνόμαστε στο να την καθαρίσουμε γρηγορότερα. Θα μοιραστούμε περισσότερες πληροφορίες καθώς η πρόοδος συνεχίζεται. Σας ευχαριστούμε για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται μέσω του backlog. Θα μοιραστούμε μια άλλη ενημέρωση μέσα στα επόμενα 30 λεπτά, ή νωρίτερα αν γίνουν διαθέσιμες περισσότερες πληροφορίες.

9. 6 Οκτωβρίου 2026 στις 7:51 μ.μ. UTCidentified

   Οι καθυστερήσεις για τις ροές εργασίας και την έναρξη των εργασιών εξακολουθούν να μειώνονται. Οι περισσότεροι τώρα αρχίζουν μέσα σε περίπου 10 λεπτά, βελτιωμένοι από περίπου 40 λεπτά νωρίτερα στο περιστατικό. Ένας πολύ μικρός αριθμός ροών εργασίας μπορεί να περίμενε πάνω από 1 ώρα. Αν η δουλειά σου απέτυχε να ξεκινήσει, ξανατρέξε τη δουλειά. Οι καθυστερήσεις στις εξερχόμενες κοινοποιήσεις έχουν βελτιωθεί. Η υπόλοιπη καθυστέρηση οφείλεται σε μια backlog της εργασίας που δημιουργήθηκε κατά τη διάρκεια του συμβάντος, και ότι η backlog έχει μειωθεί κατά περισσότερο από το ήμισυ. Αναμένουμε να εκκαθαριστεί η καθυστέρηση σε περίπου 15 λεπτά. Θα μοιραστούμε άλλη ενημέρωση μόλις εκκαθαριστεί, ή εντός των επόμενων 30 λεπτών το αργότερο.

10. 6 Οκτωβρίου 2026 στις 8:13 μ.μ. UTCidentified

    Η καθυστέρηση της εργασίας έχει εκκαθαριστεί και οι ροές εργασίας αρχίζουν πάλι χωρίς καθυστερήσεις στις κοινοποιήσεις. Ωστόσο, οι πελάτες που χρησιμοποιούν Docker και Linux θέσεις εργασίας σε πολλαπλές κατηγορίες πόρων, συμπεριλαμβανομένων των μεσαίων, μεγάλων και 2xlarge gen2, μπορεί τώρα να δείτε θέσεις εργασίας που περιμένουν στην ουρά για λίγα λεπτά πριν ξεκινήσουν. Οι μηχανικοί μας συνεχίζουν να εργάζονται για τον μετριασμό αυτού του ζητήματος. Αν η δουλειά σου απέτυχε να ξεκινήσει, ξανατρέξε τη δουλειά. Σας ευχαριστούμε για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται σε αυτό. Θα μοιραστούμε μια άλλη ενημέρωση μέσα στα επόμενα 30 λεπτά, ή νωρίτερα αν γίνουν διαθέσιμες περισσότερες πληροφορίες.

11. 6 Οκτωβρίου 2026 στις 8:31 μ.μ. UTCmonitoring

    Οι ροές εργασίας και οι θέσεις εργασίας ξεκινούν κανονικά, και οι χρόνοι αναμονής για τις δουλειές Docker και Linux έχουν επιστρέψει στο κανονικό. Οι μηχανικοί μας συνεχίζουν να παρακολουθούν αυτό το ζήτημα. Αν η δουλειά σου απέτυχε να ξεκινήσει, ξανατρέξε τη δουλειά. Σας ευχαριστούμε για την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται σε αυτό. Θα μοιραστούμε μια άλλη ενημέρωση μέσα στα επόμενα 30 λεπτά, ή νωρίτερα αν γίνουν διαθέσιμες περισσότερες πληροφορίες.

12. 6 Οκτωβρίου 2026 στις 9:18 μ.μ. UTCresolved

    Μεταξύ περίπου 15:30 UTC και 20:30 UTC στις 6 Οκτωβρίου 2026, οι πελάτες παρουσίασαν καθυστερήσεις και αποτυχίες που επηρεάζουν τους αγωγούς, τις ροές εργασίας και τις θέσεις εργασίας. Από περίπου 16:02 UTC έως 16:39 UTC, οι αγωγοί αποτυγχάνουν και δεν μπορούν να ξεκινήσουν νέες ροές εργασίας ή θέσεις εργασίας. Μετά την επανάληψη της υπηρεσίας, οι ροές εργασίας και οι θέσεις εργασίας συνέχισαν να ξεκινούν με καθυστερήσεις μέχρι τις 20:00 περίπου UTC. Οι ώρες έναρξης ήταν κατά μέσο όρο 40 λεπτά περίπου στο αποκορύφωμά τους, και ένας πολύ μικρός αριθμός ροών εργασίας περίμενε πάνω από 1 ώρα. Οι εξερχόμενες ειδοποιήσεις και webhooks καθυστέρησαν επίσης μέχρι περίπου τις 19:00 UTC, συνήθως κατά περίπου ένα λεπτό. Καθώς η καθυστέρηση της καθυστερημένης εργασίας εκκαθαριζόταν, η αύξηση της ζήτησης άσκησε πίεση στην ικανότητα εκτέλεσης μας, προκαλώντας περαιτέρω καθυστερήσεις στις εργασίες Docker και Linux. Από περίπου 19:45 UTC έως 20:30 UTC, αυτές οι θέσεις εργασίας περίμεναν στην ουρά περισσότερο από το συνηθισμένο πριν ξεκινήσουν. Στην κορυφή, γύρω στις 20:05 UTC, περιμένει μέχρι περίπου 8 λεπτά για 2xlarge gen2, 6 λεπτά για xlarge gen2, και λιγότερο από 5 λεπτά για μερικές άλλες κατηγορίες πόρων. Το ζήτημα έχει επιλυθεί, και όλες οι επηρεαζόμενες λειτουργίες έχουν επανέλθει στο φυσιολογικό. Πελάτες των οποίων οι εργασίες απέτυχαν κατά τη διάρκεια αυτού του παραθύρου μπορεί να επανεκκινήσουν επηρεαζόμενες θέσεις εργασίας. Σας ευχαριστούμε για την υπομονή σας, ενώ η ομάδα μας εργάστηκε για την εφαρμογή μιας ρύθμισης.

13. 7 Οκτωβρίου 2026 στις 10:08 μ.μ. UTCpostmortem

    Περίληψη Στις 6 Οκτωβρίου 2026, από τις 15:30 έως τις 20:30 UTC, οι πελάτες του CircleCI γνώρισαν καθυστερήσεις δημιουργώντας αγωγούς και ξεκινώντας ροές εργασίας και θέσεις εργασίας. Από 15:48 έως 16:38 UTC, δεν ξεκίνησαν ροές εργασίας ή θέσεις εργασίας, και οι αγωγοί που ενεργοποιήθηκαν από 16:02 UTC απέτυχε. Οι συντομότερες, διακοπτόμενες καθυστερήσεις ξεκίνησαν νωρίτερα, στις 13:30 UTC. Τα δεδομένα στο CircleCI UI, ειδοποιήσεις, και να δεσμευτούν ενημερώσεις κατάστασης στους παρόχους ελέγχου έκδοσης είχαν επίσης καθυστερήσει. Το περιστατικό ξεκίνησε στη βάση δεδομένων πίσω από την υπηρεσία ενορχήστρωσης ροής εργασίας μας, η οποία συντονίζει κάθε αγωγό, ροή εργασίας και δουλειά στο CircleCI. Η συντήρηση ρουτίνας στους μεγαλύτερους πίνακες της βάσης δεδομένων έγραψε τα αρχεία καταγραφής συναλλαγών γρηγορότερα από ό, τι η βάση δεδομένων θα μπορούσε να τα αρχειοθετήσει, και τα αρχεία πλήρωναν την ποσότητα αποθήκευσης που ήταν στην άκρη γι 'αυτούς. Για να εμποδίσουμε τη βάση δεδομένων να γίνει μόνο για ανάγνωση, οι μηχανικοί μας μετέφεραν τα αρχεία καταγραφής στον κύριο όγκο αποθήκευσης της βάσης δεδομένων. Αυτή η κίνηση έσβησε τη βάση δεδομένων για 50 λεπτά. Όταν επανήλθε η βάση δεδομένων, επεξεργάστηκε την εργασία στο μισό περίπου κανονικό ρυθμό μέχρι οι μηχανικοί μας άλλαξαν μια ρύθμιση βάσης δεδομένων στις 18:19 UTC. Στη συνέχεια, δουλέψαμε μέσω του backlog, και οι ώρες έναρξης της εργασίας επέστρεψαν στο κανονικό μέχρι τις 20:30 UTC. Πελάτες των οποίων οι εργασίες απέτυχαν κατά τη διάρκεια αυτού του παραθύρου μπορεί να τις επανεκκινήσουν. Η αρχική σελίδα κατάστασης μπορεί να βρεθεί [εδώ](https://status.circleci.com/incidents/z4hbq8h49j8c). Ιστορικό Όταν ενεργοποιείτε έναν αγωγό, το CircleCI το δίνει σε μια υπηρεσία ενορχήστρωσης ροής εργασίας. Αυτή η υπηρεσία εντοπίζει την κατάσταση κάθε ροής εργασίας και εργασίας, αποφασίζει πότε κάθε δουλειά είναι έτοιμη να λειτουργήσει, και δίνει έτοιμες θέσεις εργασίας στον εκτελεστικό μας στόλο. Οδηγεί επίσης τα δεδομένα εργασίας που βλέπετε στο UI και τις ειδοποιήσεις και δεσμεύει καταστάσεις που στέλνουμε όταν τελειώνει η εργασία. Η υπηρεσία ενορχήστρωσης αποθηκεύει την κατάστασή της σε μια βάση δεδομένων. Η βάση δεδομένων γράφει κάθε αλλαγή σε ένα αρχείο καταγραφής συναλλαγών πριν την εφαρμογή του, και κρατά αυτά τα αρχεία καταγραφής σε μια ειδική ποσότητα αποθήκευσης. Καταγράφει τα αρχεία καταγραφής συνεχώς ώστε να μπορεί να επαναχρησιμοποιήσει αυτό το χώρο. Αν η αρχειοθέτηση πέσει πίσω και ο όγκος γεμίσει, η βάση δεδομένων σταματά να δέχεται γράφει, και καμία νέα εργασία δεν μπορεί να προχωρήσει μπροστά. Η βάση δεδομένων εκτελεί επίσης μια περιοδική διαδικασία συντήρησης \ (autovacuums\) σε κάθε πίνακα για να κρατήσει τα εσωτερικά αρχεία της έγκυρη με την πάροδο του χρόνου. Σε έναν πολύ μεγάλο πίνακα, αυτή η διαδικασία διαβάζει κάθε σελίδα του πίνακα και γράφει ένα μεγάλο όγκο των αρχείων καταγραφής συναλλαγών. Τι συνέβη \(Όλες τις φορές UTC\) Από τις 10:02 στις 6 Οκτωβρίου, η παρακολούθησή μας προκάλεσε βραχύβια προειδοποίηση για λάθη στην υπηρεσία ενορχήστρωσης. Κάθε σήμα διαγράφηκε από μόνο του μέσα σε 15 λεπτά. Οι μηχανικοί μας είχαν ξαναδεί παρόμοιες σύντομες προειδοποιήσεις πριν, και το σύστημα δεν έδειχνε άλλα σημάδια άγχους, έτσι ακολουθούσαν το runbook κάθε φορά, και κάθε ειδοποίηση εκκαθαριζόταν από μόνη της και επίσης άρχισε να εργάζεται για να κάνει τις ειδοποιήσεις λιγότερο ευαίσθητες. Γύρω στις 12:40, μαζί με τον κανονικό φόρτο εργασίας που παράγει τα δικά του αρχεία καταγραφής συναλλαγών, η διαδικασία συντήρησης σε αρκετούς από τους μεγαλύτερους πίνακες της βάσης δεδομένων άρχισε να γράφει επιπλέον αρχεία καταγραφής συναλλαγών γρηγορότερα από ό, τι η βάση δεδομένων θα μπορούσε να τα αρχειοθετήσει, και ο όγκος καταγραφής άρχισε να γεμίζει. Στις 13:30, η ενορχήστρωση άρχισε να επιβραδύνει. Μέχρι τις 15:30, κάποιοι αγωγοί και θέσεις εργασίας χρειάστηκαν περισσότερο χρόνο για να ξεκινήσουν, σε σύντομες εκρήξεις. Στις 13:35, η παρακολούθησή μας ειδοποιήθηκε ξανά, αυτή τη φορά παράλληλα με τις σχετικές ειδοποιήσεις από αρκετές άλλες υπηρεσίες. Οι Μηχανικοί Υποδομών ακολούθησαν τις οδηγίες συναγερμού, καθαρίζοντας μερικές από τις ειδοποιήσεις. Οι συναγερμοί επέστρεψαν πάλι γύρω στις 14:30 και αφού ερευνήσαμε περαιτέρω, δηλώσαμε ένα περιστατικό στις 14:54. Θα έπρεπε να είχαμε αναγνωρίσει τον συνδυασμό των ειδοποιήσεων νωρίτερα, και έχουμε καλύψει πώς το διορθώνουμε αυτό παρακάτω. Μετά την κήρυξη του περιστατικού, οι μηχανικοί μας εντόπισαν την επιβράδυνση στη διαδικασία συντήρησης \(anti-wrapround autovacuum\). Η βάση δεδομένων επανεκκινεί αυτόματα αυτή τη διαδικασία αν ακυρωθεί, οπότε οι μηχανικοί μας άλλαξαν τις ρυθμίσεις της για να τη βοηθήσουν να τελειώσει γρηγορότερα. Μέχρι τις 15:30, οι καθυστερήσεις ήταν συνεχείς, και κάποιες δουλειές άρχισαν να αποτυγχάνουν. Στις 15:43, ο όγκος του ημερολογίου συναλλαγών ήταν σχεδόν πλήρης. Αν γέμιζε, η βάση δεδομένων θα σταματούσε να δέχεται γραπτά και καμία εργασία δεν θα μπορούσε να τρέξει. Οι μηχανικοί μας αποφάσισαν να μεταφέρουν τα αρχεία καταγραφής συναλλαγών στον κύριο όγκο αποθήκευσης της βάσης δεδομένων, ο οποίος είχε άφθονο ελεύθερο χώρο. Η κίνηση απαιτούσε η βάση δεδομένων να αποσυνδεθεί, και δεν μπορούσαμε να προβλέψουμε εκ των προτέρων πόσο θα έπαιρνε. Η κίνηση ξεκίνησε στις 15:47. Από τις 15:48 έως τις 16:38, η υπηρεσία ενορχήστρωσης δεν μπορούσε να επεξεργαστεί κανένα έργο. Οι πελάτες θα μπορούσαν ακόμα να ενεργοποιήσουν αγωγούς, αλλά δεν άρχισαν ροές εργασίας ή θέσεις εργασίας, και από 16:02 πρόσφατα ενεργοποιηθεί αγωγούς απέτυχε. Ανεβάσαμε στη σελίδα μας στις 15:58 και την ανεβάσαμε σε μια μεγάλη διακοπή στις 16:20. Ενώ η βάση δεδομένων ήταν εκτός σύνδεσης, οι μηχανικοί μας προετοίμασαν μια βάση δεδομένων αντικατάστασης ως εφεδρική. Η αρχική βάση δεδομένων ήρθε πρώτη, οπότε την κρατήσαμε σε λειτουργία. Στις 16:38, η βάση δεδομένων επανήλθε και η δουλειά άρχισε να ρέει ξανά. Με τα αρχεία καταγραφής συναλλαγών και τα τακτικά δεδομένα που μοιράζονται τώρα την ίδια αποθήκευση, η βάση δεδομένων έτρεξε πιο αργά από πριν. Από τις 16:38 ως τις 18:19, η υπηρεσία ενορχήστρωσης επεξεργάστηκε την εργασία με το μισό περίπου κανονικό ρυθμό της, και οι εργασίες περίμεναν δεκάδες λεπτά για να ξεκινήσουν, μέχρι περίπου 50 λεπτά το μεγαλύτερο. Κατά τη διάρκεια εκείνης της περιόδου, η βάση δεδομένων έπρεπε να τελειώσει αρχειοθετώντας τα αρχεία καταγραφής συναλλαγών της πριν μπορέσουμε να τα μετακινήσουμε πίσω σε έναν ειδικό τόμο. Επίσης, διερευνήσαμε και εφαρμόσαμε αρκετές αλλαγές παραμέτρου βάσεων δεδομένων για να σταματήσουμε περαιτέρω εργασίες συντήρησης από την έναρξη και την προετοιμασία τρόπων για τη μείωση της εργασίας που φθάνουν στην υπηρεσία. Μαζί με τη βάση δεδομένων αντικατάστασης, ετοιμάσαμε επίσης μια πλήρη στοίβα της υπηρεσίας κατά τη διάρκεια αυτής της περιόδου, ώστε να μπορούμε να κινηθούμε προς αυτήν με κίνδυνο απώλειας δεδομένων και να επιλέξουμε ενάντια σε αυτή την κίνηση. Στις 18:19, οι μηχανικοί μας άλλαξαν μια ρύθμιση βάσης δεδομένων για να κόψουν το χρόνο που κάθε γραφή ξόδευε περιμένοντας για αποθήκευση. Η ταχύτητα επεξεργασίας ανακτήθηκε, και το backlog άρχισε να καθαρίσει. Για να το καθαρίσουμε πιο γρήγορα, προσθέσαμε τη βάση δεδομένων και την ικανότητα των server στα συστήματα που δίνουν δουλειές στον εκτελεστικό μας στόλο. Γύρω στις 19:55, νέες θέσεις εργασίας άρχισαν πάλι στην ώρα τους. Το backlog στη συνέχεια έφτασε στο στόλο εκτέλεσης μας. Από τις 19:49 έως τις 20:30, κάποιες εργασίες Docker σε μεγαλύτερες κατηγορίες πόρων περίμενε μέχρι περίπου 10 λεπτά για να ξεκινήσει, ενώ η ικανότητα κλιμακώθηκε. Στις 20:30, οι ώρες έναρξης της δουλειάς επανήλθαν στο φυσιολογικό. Μεταφέραμε τη σελίδα της κατάστασης στην παρακολούθηση στις 20:32 και επιλύσαμε το περιστατικό στις 21:19. Περίπου 3.500 θέσεις εργασίας απέτυχαν να ξεκινήσουν κατά τη διάρκεια του περιστατικού. Οι πελάτες μπορούν να ξαναδούν αυτές τις δουλειές. Δεν βρήκαμε αποδείξεις ότι ο CircleCI έκανε κάποια δουλειά πάνω από μία φορά. Οι πελάτες που επαναλήφθηκαν μια ροή εργασίας ενώ η αρχική εκτέλεση ήταν ακόμα καθυστερημένη μπορεί να έχουν δει και τις δύο διαδρομές πλήρεις. Οι πελάτες του ετήσιου σχεδίου μπορούν να συνεργαστούν με την ομάδα του λογαριασμού τους για να επανεξετάσουν τη χρήση. Μελλοντική Πρόληψη και Βελτίωση της Διαδικασίας Κάνουμε τα ακόλουθα βήματα για να αποτρέψουμε την επανάληψη και να βελτιώσουμε το χρόνο ανταπόκρισης: ** Προσθέτουμε ειδοποιήσεις για τις συνθήκες που προκάλεσαν αυτό το περιστατικό. ** Ο έλεγχός μας έπιασε την επιβράδυνση, αλλά δεν είχαμε καμία ειδοποίηση για το πόσο πλήρης ήταν ο όγκος του ημερολογίου συναλλαγών ή για το πόσο είχε μείνει πίσω η αρχειοθέτηση. Προσθέτουμε ειδοποιήσεις και για τα δύο, μαζί με ειδοποιήσεις για τη συντήρηση της βάσης δεδομένων που τους οδηγεί, ώστε να μπορέσουμε να δράσουμε νωρίτερα. Επίσης, επανεξετάζουμε όλες τις ειδοποιήσεις μας για να διασφαλίσουμε ότι οι θορυβώδεις ή ευαίσθητες ειδοποιήσεις δεν κρύβουν πραγματικά ζητήματα. ** Είμαστε ο συντονισμός της διαδικασίας συντήρησης \ (autovacuum\) τρέχει στη βάση δεδομένων μας. ** Εξετάζουμε τη συχνότητα και την επιθετικότητα με την οποία λειτουργούν τα αυτόματα οχήματα στη βάση δεδομένων μας. Παρακολουθούμε επίσης το μέγεθος αυτών των τραπεζιών με την πάροδο του χρόνου ώστε να παραμείνουν εντός ασφαλών ορίων. **Αφαιρούμε το ενιαίο αρχείο καταγραφής συναλλαγών. ** Όλα τα γραπτά της υπηρεσίας ενορχήστρωσης περνούν από μια βάση δεδομένων και ένα ημερολόγιο συναλλαγών, οπότε όταν το ημερολόγιο έμεινε πίσω, κάθε αγωγός, ροή εργασίας και εργασία επιβραδύνθηκε με αυτό. Αξιολογούμε δύο προσεγγίσεις: ο διαχωρισμός της υπηρεσίας σε πολλαπλές περιπτώσεις βάσεων δεδομένων, ο καθένας με το δικό του ημερολόγιο συναλλαγών, και η μετακίνησή της σε μια κατανεμημένη βάση δεδομένων που χτίστηκε για να εξαπλωθεί γράφει σε πολλούς κόμβους. Κάθε προσέγγιση θα περιόριζε το αποτέλεσμα μιας backlog σε μέρος του φόρτου εργασίας. ** Κάνουμε τα συστήματά μας να περιμένουν την υπηρεσία ενορχήστρωσης να ανακάμψει.** Κατά τη διάρκεια του περιστατικού, κάποιες δουλειές απέτυχαν επειδή τα συστήματά μας τα παράτησαν αφού ξαναδοκίμασαν. Προσπαθούμε να αλλάξουμε αυτή τη συμπεριφορά. **Βελτιώνουμε τις ενημερώσεις της σελίδας κατάστασης μας κατά τη διάρκεια μεγάλων επεισοδίων.** Οι πελάτες μας είπαν ότι οι πρώτες ενημερώσεις μας δεν έδωσαν αρκετές λεπτομέρειες. Ενημερώνουμε τις οδηγίες μας ώστε οι ενημερώσεις να περιλαμβάνουν συγκεκριμένες επιπτώσεις και χρονοδιάγραμμα νωρίτερα. Η εμπειρία των πελατών είναι η πρώτη μας προτεραιότητα, και δεσμευόμαστε να βελτιώνουμε συνεχώς την αξιοπιστία των συστημάτων μας ώστε να ταιριάζουν με την εμπιστοσύνη που μας εμπιστεύονται οι πελάτες μας. Ευχαριστούμε τους πελάτες μας για την υπομονή τους ενώ η ομάδα μας εργάστηκε για να επιλύσει αυτό το περιστατικό. Παρακαλούμε επικοινωνήστε με την ομάδα υποστήριξης μας με οποιεσδήποτε ερωτήσεις ή ανησυχίες.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 1 Οκτωβρίου 2026 στις 9:06 π.μ. UTCinvestigating

   Οι πελάτες μπορεί να βιώσουν καθυστερήσεις στην έναρξη Docker Gen 2 Jobs. Προσπαθούμε να αυξήσουμε τη διέλευση του συστήματος για να το προσεγγίσουμε.

2. 1 Οκτωβρίου 2026 στις 9:47 π.μ. UTCidentified

   Αναγνωρίσαμε τη βασική αιτία και εργαζόμαστε ενεργά πάνω σε μια λύση. Σας ευχαριστώ για την υπομονή σας.

3. 1 Οκτωβρίου 2026 στις 10:13 π.μ. UTCidentified

   Μια διόρθωση έχει βγει και αρχίζουμε να παρατηρούμε ανάκαμψη.

4. 1 Οκτωβρίου 2026 στις 10:24 π.μ. UTCmonitoring

   Βλέπουμε την ουρά να επιστρέφει σε φυσιολογικά επίπεδα και συνεχίζουμε να παρακολουθούμε.

5. 1 Οκτωβρίου 2026 στις 10:45 π.μ. UTCresolved

   Το περιστατικό λύθηκε.

6. 9 Οκτωβρίου 2026 στις 10:36 μ.μ. UTCpostmortem

   \"Περίληψη\" Μεταξύ 1 Οκτωβρίου και 8 Οκτωβρίου 2026, οι πελάτες του CircleCI αντιμετώπισαν πέντε ξεχωριστά περιστατικά στα οποία οι θέσεις εργασίας περίμεναν περισσότερο από το κανονικό για να ξεκινήσουν, ή δεν κατάφεραν να ξεκινήσουν. Τρία από τα περιστατικά οδηγήθηκαν από περιορισμένη διαθεσιμότητα από τον πάροχο cloud μας. Το ένα προκλήθηκε από ένα θέμα διαμόρφωσης στην υποδομή προγραμματισμού μας, και το ένα από όρια μνήμης σε μια εσωτερική υπηρεσία, την οποία θίξαμε κατά τη διάρκεια του συμβάντος. * ** 1 Οκτωβρίου 07:57 έως 10:24 UTC: ** Docker Gen 2 θέσεις εργασίας περίμενε μέχρι 30 λεπτά για να ξεκινήσει. Ένα θέμα ρύθμισης εμπόδισε τους διακομιστές προγραμματισμού Gen 2 να χρησιμοποιήσουν τους τοπικούς δίσκους υψηλής απόδοσης. Κατά τη διάρκεια μιας έκρηξης στην κυκλοφορία, οι εφεδρικοί δίσκοι κορεσμένοι και η τοποθέτηση εργασίας επιβραδύνθηκαν. * ** 7 Οκτωβρίου 13:27 έως 14:06 UTC: ** Οι εργασίες του μηχανήματος περίμεναν περισσότερο από το κανονικό, επειδή δεν μπορούσαμε να αποκτήσουμε αρκετές εικονικές μηχανές από τον πάροχο cloud μας. * ** 7 Οκτωβρίου 14:24 έως 15:21 UTC:** Ορισμένες θέσεις εργασίας απέτυχαν με σφάλμα υποδομής και οι ροές εργασίας καθυστέρησαν. Η υπηρεσία που δίνει σε κάθε εργασία τις ρυθμίσεις της κατά την εκκίνηση εξαντλήθηκε από τη μνήμη και επανεκκίνησε. * ** 7 Οκτωβρίου 18:49 έως 20:05 UTC: ** Docker Gen 2 θέσεις εργασίας περίμενε περισσότερο από το κανονικό, επειδή δεν θα μπορούσε να αποκτήσει αρκετά περιστατικά από τον πάροχο σύννεφο μας. * ** 8 Οκτωβρίου 12:48 έως 16:00 UTC:** Οι εργασίες μηχανών Linux και οι απομακρυσμένες εργασίες Docker περίμεναν μέχρι και 50 λεπτά για να ξεκινήσουν. Ο πάροχος cloud μας δεν είχε αρκετό από τον τύπο περίπτωσης που ζητάμε, και ένα ελάττωμα στη λογική που επιλέγει ένα διαφορετικό τύπο περίπτωση μας εμπόδισε να χρησιμοποιούμε εναλλακτικές λύσεις. Εργασίες που περίμεναν στη διάρκεια αυτών των περιστατικών καθυστέρησαν, δεν χάθηκαν. Πελάτες των οποίων οι θέσεις εργασίας απέτυχαν με σφάλμα υποδομής κατά τη διάρκεια του περιστατικού της 7ης Οκτωβρίου από τις 14:24 έως 15:21 Η UTC μπορεί να τις επανεκκινήσει. Οι αρχικές σελίδες κατάστασης μπορούν να βρεθούν παρακάτω: * [1 Οκτωβρίου - Καθυστερεί την έναρξη Gen 2 Docker Jobs] (https://status.circleci.com/incidents/22mrv46g6n7g) * [7 Οκτωβρίου - Καθυστέρηση στην έναρξη εργασιών εργασίας μηχανή] (https://status.circleci.com/incidents/tj6wdnfjwr64) * [7 Οκτωβρίου - Αυξημένο επίπεδο αποτυχιών στις θέσεις εργασίας των πελατών] (https://status.circleci.com/incidents/0z31ldjd8m5v) * [7 Οκτωβρίου - Αυξημένες ώρες αναμονής για το Docker Gen2](https://status.circleci.com/incidents/39rfrjmk5pvd) * [8 Οκτωβρίου - Αυξημένες ώρες αναμονής για εργαλειοδουλειές] (https://status.circleci.com/incidents/jn756xtsy4xg) ** Πίσω ** Κάθε δουλειά που τρέχει στο CircleCI χρειάζεται υπολογισμό. Από πού προέρχεται αυτός ο υπολογισμός εξαρτάται ο εκτελεστής. Οι εργασίες Docker εκτελούνται σε ομάδες servers που προγραμματίζουν εργασίες σε ένα στόλο των περιπτώσεων. Ο προγραμματιστής είναι το λογισμικό σε αυτούς τους διακομιστές που αποφασίζει ποια περίπτωση τρέχει κάθε εργασία. Οι θέσεις εργασίας της Gen 2 Docker λειτουργούσαν σε μια τέτοια ομάδα κατά τη στιγμή του συμβάντος της 1ης Οκτωβρίου. Gen 1 Οι εργασίες Docker είναι κατανεμημένες σε διάφορες ομάδες. Εργασίες μηχανών, συμπεριλαμβανομένων απομακρυσμένων εργασιών Docker, να πάρετε μια ειδική εικονική μηχανή. Μια απομακρυσμένη δουλειά Docker αντιμετωπίζεται ως εργασία μηχανής Linux από την υποβολή μέσω της προμήθειας. Η υπηρεσία μας για την παροχή μηχανών απαιτεί κάθε μηχανή από τον πάροχο cloud μας σε μία από τις δύο περιοχές που συνήθως χρησιμοποιούμε για εργασίες μηχανών. Όταν ο πάροχος δεν μπορεί να προμηθεύσει τον τύπο περίπτωσης που ζητάμε, η υπηρεσία υποχωρεί: απαιτεί διαφορετικό τύπο περίπτωσης, ή μια διαφορετική περιοχή, από έναν κατάλογο που διατηρούμε. Μια δουλειά περιμένει μέχρι να είναι διαθέσιμη μια μηχανή. Όταν οποιαδήποτε εργασία ξεκινά, ζητά μια υπηρεσία ρύθμισης της εργασίας για τη διαμόρφωση της. Αυτή η υπηρεσία λειτουργεί ως σύνολο λοβών, τα οποία είναι μικρά αντίγραφα του ίδιου προγράμματος. Εάν σταματήσουν πάρα πολλοί λοβοί, οι υπόλοιποι λοβοί μεταφέρουν περισσότερο φορτίο, και οι θέσεις εργασίας δεν μπορούν να ξεκινήσουν μέχρι να ανακάμψει η υπηρεσία. Αυτές οι διαδρομές εξαρτώνται από τρία είδη χωρητικότητας: την διαπερατότητα των συστημάτων προγραμματισμού μας, την παροχή των περιπτώσεων από τον πάροχο cloud μας, και τη μνήμη και τον αριθμό των αντιγράφων των υπηρεσιών που ξεκινούν θέσεις εργασίας. Ένα έλλειμμα σε οποιοδήποτε από αυτά κάνει τις δουλειές να περιμένουν ή να αποτύχουν. Τι έγινε; \(Όλες τις φορές UTC\) Οι δουλειές του Ντόκερ Τζεν 2 καθυστέρησαν μέχρι 30 λεπτά. Στις 07:44, η δραστηριότητα του δίσκου στους διακομιστές που προγραμματίζουν τις εργασίες του Gen 2 Docker αυξήθηκε στο 90% της χωρητικότητας και έμεινε εκεί. Στις 07:57, ο αριθμός των εργασιών Docker περιμένει να αρχίσει να αυξάνεται, και οι χρόνοι αναμονής αυξήθηκε με αυτό. Ένας αυτοματοποιημένος συναγερμός κάλεσε τον εφημερεύοντα μηχανικό στις 08:08. Δηλώσαμε ένα περιστατικό στις 08:42. Στις 08:43, οι μηχανικοί εντόπισαν μεγάλη καθυστέρηση στο δίσκο στους διακομιστές προγραμματισμού. Αρχικά πίστευαν ότι οι δίσκοι ήταν πολύ αργοί για το φορτίο, έτσι προετοίμασαν μια αλλαγή σε έναν πιο γρήγορο τύπο δίσκου. Στις 09:01, η ομάδα συμφώνησε σε δύο workstream: μετακινήστε τους διακομιστές σε ταχύτερους δίσκους, και προσθέστε μια δεύτερη ομάδα Gen 2, έτσι ώστε οι θέσεις εργασίας να χωριστούν σε δύο συστάδες. Στις 09:41, οι μηχανικοί βρήκαν τη βασική αιτία. Κάθε διακομιστής προγραμματισμού έχει γρήγορους δίσκους που συνδέονται απευθείας σε αυτό, και ο προγραμματιστής έχει ως στόχο να κρατήσει τα δεδομένα εργασίας του εκεί. Αυτοί οι διακομιστές τρέχουν σε μια εικόνα του λειτουργικού συστήματος, και σε αυτή την εικόνα οι γρήγοροι δίσκοι δεν χρησιμοποιούνταν. Ο προγραμματιστής έγραψε τα δεδομένα του σε πιο αργούς συνδεδεμένους με το δίκτυο δίσκους. Το σενάριο που δημιουργεί τους γρήγορους δίσκους απέτυχε χωρίς σφάλμα, και ένα κενό στην καταγραφή σε αυτούς τους διακομιστές έκρυψε την αποτυχία. Η κίνηση της Γεν 2 είχε επίσης γίνει ολοένα και πιο ραγδαία. Οι πιο αργοί δίσκοι κορεσμένοι κατά τη διάρκεια αυτών των εκρήξεων, και ο προγραμματιστής έπεσε πίσω. Οι ώρες αναμονής κορυφώθηκαν στις 09:54, όταν οι θέσεις εργασίας στη μεσαία τάξη πόρων Gen 2 περίμεναν μέχρι 30 λεπτά. Στις 09:55, οι μηχανικοί εφάρμοσαν μια επιδιόρθωση που έστηνε σωστά τους γρήγορους δίσκους. Στις 10:11, ο προγραμματιστής άρχισε να τοποθετεί τις θέσεις εργασίας γρηγορότερα, πράγμα που επιβεβαίωσε ότι οι servers θα μπορούσαν να συμβαδίσουν με νέες θέσεις εργασίας. Χρόνοι αναμονής για το μέσο της Γεν 2 έπεσαν στα 13 λεπτά στις 10:14, 7 λεπτά στις 10:17, και 1 λεπτό 30 δευτερόλεπτα στις 10:20. Μεταφέραμε τη σελίδα της κατάστασης στην παρακολούθηση στις 10:24 και λύσαμε το περιστατικό στις 10:45. Στις 11:20, η δεύτερη ομάδα Gen 2 άρχισε να λειτουργεί δουλειές. 7 Οκτωβρίου, 13:27 έως 14:06: Αυξημένες ώρες αναμονής για εργαλειομηχανές Κηρύξαμε ένα περιστατικό στις 13:27 αφού είδαμε υπερυψωμένες ώρες αναμονής και αναμονής. Αναρτήσαμε στη σελίδα κατάστασης στις 13:31. Στις 13:31, οι μηχανικοί είδαν ότι παλεύαμε να αποκτήσουμε εικονικές μηχανές για εργαλειομηχανές, και ότι ο αριθμός των θέσεων εργασίας που περίμεναν να ξεκινήσουν ήταν υψηλός κυρίως για εργαλειομηχανές. Στις 13:34, οι ώρες αναμονής ανυψώθηκαν σε εκτελεστές. Στις 13:48, οι χρόνοι αναμονής άρχισαν να αναρρώνουν καθώς γίνονταν διαθέσιμες περισσότερες μηχανές, και επιλύσαμε το περιστατικό στις 14:06. 7 Οκτωβρίου, 14:24 έως 15:21: Αποτυχίες και καθυστερήσεις στη ροή εργασίας** Λίγο μετά τη σήμανση του προηγούμενου συμβάντος, δηλώσαμε ένα νέο περιστατικό στις 14:24 λόγω της απότομης μείωσης του αριθμού των θέσεων εργασίας που υποβλήθηκαν στα συστήματα εκτέλεσης μας. Στις 14:26, οι μηχανικοί είδαν ότι οι λοβοί της υπηρεσίας ρύθμισης της εργασίας επανεκκινούσαν. Pods που επανεκκινούν αφήνουν λιγότερα αντίγραφα της υπηρεσίας για να απαντήσουν σε αιτήματα, και θέσεις εργασίας που δεν μπορούσαν να ανακτήσουν τη διαμόρφωση τους μετά από επανειλημμένες προσπάθειες απέτυχε με ένα σφάλμα υποδομής. Οι ροές εργασίας που ήδη έτρεχαν περίμεναν ενημερώσεις από θέσεις εργασίας που δεν είχαν ξεκινήσει. Στις 14:35, οι μηχανικοί αύξησαν την ποσότητα της διαθέσιμης μνήμης στους λοβούς και αύξησαν τον αριθμό των λοβών, γεγονός που έδωσε στην υπηρεσία περισσότερα αντίγραφα για να μοιραστεί το φορτίο. Επίσης, αυξήσαμε την ποσότητα της μνήμης που ήταν διαθέσιμη Οι υποβολές εργασίας άρχισαν να αναρρώνουν, και ο αριθμός των μηνυμάτων που ρέουν μέσω του συστήματος ροής εργασίας μας επέστρεψε σε φυσιολογικά επίπεδα. Στις 14:44, μεταφέραμε τη σελίδα κατάστασης στην παρακολούθηση. Τα pods στην υπηρεσία διαμόρφωσης εργασίας έφτασαν στα όρια μνήμης τους και επανεκκίνησαν. Αυξήσαμε τις κατανομές μνήμης και τις μετρήσεις της κάψουλας, και η υπηρεσία ανακτήθηκε. Στις 15:13, αυξήσαμε τον αριθμό των περιπτώσεων στα συμπλέγματα Docker της Γεν 2 μας έτσι ώστε να μπορούμε να εργαστούμε μέσα από το backlog των θέσεων αναμονής γρήγορα. Λύσαμε το περιστατικό στις 15:21. 7 Οκτωβρίου, 18:49 έως 20:05: Αυξημένες ώρες αναμονής για τις 2 δουλειές του Ντόκερ Ανακηρύξαμε ένα νέο περιστατικό στις 18:49 μετά το Docker Gen 2 χρόνοι αναμονής αυξήθηκαν. Στις 18:51, οι μηχανικοί επιβεβαίωσαν ότι η έλλειψη διαθέσιμων περιπτώσεων μας εμπόδιζε να αποκτήσουμε αρκετές από αυτές, οι οποίες ύψωσαν τις ώρες αναμονής. Οι χρόνοι αναμονής διαφέρουν ανάλογα με το μέγεθος της τάξης των πόρων. Στις 19:52, ο μέσος χρόνος αναμονής ήταν χαμηλότερος από μια ώρα νωρίτερα καθώς γινόταν διαθέσιμη περισσότερη χωρητικότητα, αν και συνεχίστηκαν οι σύντομες αιχμές, και μεταφέραμε τη σελίδα κατάστασης στην παρακολούθηση. Λύσαμε το περιστατικό στις 20:05. 8 Οκτωβρίου: Η μηχανή Linux και οι απομακρυσμένες εργασίες Docker περιμένουν μέχρι 50 λεπτά** Κηρύξαμε ένα περιστατικό στις 12:48 αφού είδαμε έναν μεγάλο αριθμό θέσεων εργασίας να περιμένουν να ξεκινήσουν και να περιμένουν πολύ χρόνο για μηχανές και απομακρυσμένες εργασίες Docker. Στις 12:49, οι μηχανικοί είδαν ότι ο πάροχος των νεφών μας δεν μπορούσε να προμηθεύσει αρκετά περιστατικά. Οι καθυστερήσεις συνέχισαν να σκαρφαλώνουν καθώς ερευνούσαμε. Στις 13:13, αρχίσαμε να εξετάζουμε τη λογική που επιλέγει ένα διαφορετικό τύπο ή περιοχή περίπτωση όταν η πρώτη επιλογή μας δεν είναι διαθέσιμη. Στις 13:24, υποπτευθήκαμε ότι ένα ελάττωμα σε αυτή τη λογική μας εμπόδιζε να χρησιμοποιήσουμε άλλους τύπους περιπτώσεων στην πρωτεύουσά μας περιοχή, έτσι απενεργοποιήσαμε την υπολειπόμενη περιοχή μας και επιβεβαιώσαμε την αιτία του ελαττώματος. Οι μηχανικοί άρχισαν να δουλεύουν πάνω σε μια βάση και την ανέπτυξαν στις 14:49. Η υπηρεσία άρχισε να ζητά και άλλους τύπους περιπτώσεων και ξεκίνησε μηχανές σε μεγάλους αριθμούς. Στις 14:58, η ουρά των θέσεων εργασίας περιμένοντας για μια μηχανή έπεσε σταθερά. Μέσος χρόνος αναμονής σε όλες τις κατηγορίες πόρων συνέχισε να μειώνεται κατά την επόμενη ώρα, καθώς εργαστήκαμε μέσα από το παρελθόν των θέσεων εργασίας αναμονής. Στις 16:00, η ουρά των θέσεων εργασίας που περιμένουν για ένα μηχάνημα εκκαθαριστεί και ο αριθμός των θέσεων αναμονής επέστρεψε στο κανονικό. Μεταφέραμε τη σελίδα της κατάστασης στην παρακολούθηση στις 16:09 και λύσαμε το περιστατικό στις 16:35. **Μελλοντική πρόληψη και βελτίωση της διαδικασίας ** Παίρνουμε τα ακόλουθα μέτρα για να ενισχύσουμε την ανθεκτικότητα των ωρών έναρξης της εργασίας, συμπεριλαμβανομένης της διαφοροποίησης της προσφοράς, της εφεδρικής λογικής και της έγκαιρης ανίχνευσης. ** Διευρύνουμε τις περιοχές υπολογισμού μας. ** Στα επεισόδια της 7ης και 8ης Οκτωβρίου, ο πάροχος νέφους μας δεν μπορούσε να παράσχει αρκετές περιπτώσεις στις περιοχές που χρησιμοποιούσαμε. Προσθέτουμε νέες περιφέρειες στην εφεδρική λογική μας προκειμένου να χειριστούμε τις αιχμές για ζήτηση που ξεπερνούν τις προτιμώμενες περιοχές μας. **Καθορίζουμε τη λογική που επιλέγει ένα διαφορετικό τύπο περίπτωση. ** Στις 8 Οκτωβρίου, ένα ελάττωμα εμπόδισε την υπηρεσία παροχής μηχανών να χρησιμοποιήσει άλλους τύπους περιπτώσεων στην ίδια περιοχή. Αναπτύξαμε μια λύση κατά τη διάρκεια του συμβάντος και τώρα επανεξετάζουμε και επαναπροσδιορίζουμε αυτή τη λογική συνολικά, με δοκιμές, έτσι ώστε η έλλειψη ενός στιγμιότυπου να κινείται προς μια άλλη εργασία. ** Επεκτείνουμε τους τύπους περιπτώσεων που προσφέρουμε και εξασφαλίζουμε πρόσθετη χωρητικότητα. ** Εργαζόμαστε με τον πάροχο cloud μας για να διατηρήσουμε πρόσθετη ικανότητα στις υπάρχουσες περιοχές μας, και προσθέτουμε παραδείγματα που μπορούν να λειτουργήσουν οι θέσεις εργασίας. Η ζήτηση της βιομηχανίας για υπολογισμούς υψηλών επιδόσεων αυξάνεται. Διαφοροποιούμε πού και πώς πηγάζουμε δυναμικότητα έτσι ώστε οι πελάτες μας να μονώνονται από την διακύμανση της προσφοράς. ** Προσθέσαμε ένα δεύτερο Gen 2 Docker συστάδα έτσι η κίνηση εκρήξεις κατανέμονται σε δύο συστάδες. ** Προσθέτουμε επίσης ειδοποιήσεις σχετικά με τον κορεσμό του δίσκου του διακομιστή και σχετικά με το πόσο γρήγορα ο προγραμματιστής τοποθετεί τις θέσεις εργασίας, και μια ειδοποίηση που πυροδοτεί όταν ένας διακομιστής ξεκινά χωρίς τους γρήγορους δίσκους του σε χρήση. Κάναμε το σενάριο εγκατάστασης δίσκων αποτύχει με ένα σφάλμα, και αποκαταστήσαμε την αποστολή καταγραφής από αυτούς τους διακομιστές, έτσι ώστε ένα παρόμοιο πρόβλημα είναι ορατό νωρίτερα. Η εμπειρία των πελατών είναι η πρώτη μας προτεραιότητα, και δεσμευόμαστε να βελτιώνουμε συνεχώς την αξιοπιστία των συστημάτων μας ώστε να ταιριάζουν με την εμπιστοσύνη που μας εμπιστεύονται οι πελάτες μας. Ευχαριστούμε τους πελάτες μας για την υπομονή τους, ενώ η ομάδα μας εργάστηκε για την επίλυση αυτών των περιστατικών. Παρακαλούμε επικοινωνήστε με την ομάδα υποστήριξης μας με οποιεσδήποτε ερωτήσεις ή ανησυχίες.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 23 Σεπτεμβρίου 2026 στις 6:13 μ.μ. UTCidentified

   Οι πελάτες μπορεί να βιώσουν καθυστερήσεις σε νέες εγγραφές και αλλαγές σχεδίων που αντικατοπτρίζονται στο λογαριασμό τους.

2. 23 Σεπτεμβρίου 2026 στις 8:06 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 21 Σεπτεμβρίου 2026 στις 4:22 μ.μ. UTCinvestigating

   Οι πελάτες μπορεί να βιώσουν καθυστερήσεις στην έναρξη εργασιών στο Linux Machine. Ερευνούμε.

2. 21 Σεπτεμβρίου 2026 στις 4:48 μ.μ. UTCmonitoring

   Οι χρόνοι αναμονής για το Linux Machine επιστρέφουν στο φυσιολογικό.

3. 21 Σεπτεμβρίου 2026 στις 5:09 μ.μ. UTCresolved

   This incident has been resolved.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 16 Σεπτεμβρίου 2026 στις 2:55 μ.μ. UTCinvestigating

   Ερευνούμε την καθυστέρηση των δεδομένων του αγωγού. Οι αγωγοί εξακολουθούν να λειτουργούν, αλλά τα δεδομένα σχετικά με αυτούς μπορεί να καθυστερήσουν στο UI ή API.

2. 16 Σεπτεμβρίου 2026 στις 3:29 μ.μ. UTCidentified

   Έχουμε εντοπίσει το ζήτημα και εργαζόμαστε για την αποκατάσταση. Σας ευχαριστώ για την υπομονή σας.

3. 16 Σεπτεμβρίου 2026 στις 5:34 μ.μ. UTCidentified

   Τα δεδομένα του αγωγού είναι πλέον διαθέσιμα ως κανονικά, με εξαίρεση τα αποτελέσματα των δοκιμών, τα οποία ενδέχεται να καθυστερήσουν. Συνεχίζουμε να εργαζόμαστε πάνω σε αυτό, ευχαριστώ για την υπομονή σας.

4. 16 Σεπτεμβρίου 2026 στις 6:22 μ.μ. UTCmonitoring

   Όλα τα δεδομένα του αγωγού είναι πλέον διαθέσιμα ως συνήθως. Θα συνεχίσουμε να παρακολουθούμε την ανάκαμψη.

5. 16 Σεπτεμβρίου 2026 στις 7:30 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 15 Σεπτεμβρίου 2026 στις 2:42 μ.μ. UTCinvestigating

   Επί του παρόντος βλέπουμε μια καθυστέρηση στα δεδομένα του αγωγού να αναδύονται στο UI.

2. 15 Σεπτεμβρίου 2026 στις 3:14 μ.μ. UTCidentified

   Αρχίζουμε να βλέπουμε κάποια ανάκαμψη.

3. 15 Σεπτεμβρίου 2026 στις 5:02 μ.μ. UTCresolved

   Το περιστατικό που επηρεάζει τα δεδομένα του αγωγού στο UI έχει πλέον επιλυθεί. Σας ευχαριστούμε για την υπομονή σας ενώ οι μηχανικοί μας εργάστηκαν για τη μείωση των καθυστερήσεων.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 14 Σεπτεμβρίου 2026 στις 11:59 π.μ. UTCinvestigating

   Λόγω των αυξημένων σφαλμάτων στο δίκτυο και των κενών, βλέπουμε αυξημένες ώρες αναμονής για macOS θέσεις εργασίας. Το ερευνούμε αυτό με τον πάροχο φιλοξενίας MacOS.

2. 14 Σεπτεμβρίου 2026 στις 12:36 μ.μ. UTCinvestigating

   Οι ώρες αναμονής για τις θέσεις εργασίας του macOS μειώνονται και συνεχίζουμε να ερευνούμε.

3. 14 Σεπτεμβρίου 2026 στις 12:48 μ.μ. UTCmonitoring

   Ο πάροχος macOS hosting έχει εφαρμόσει έναν μετριασμό και έχουμε δει βελτιωμένα κενά. Θα συνεχίσουμε να παρακολουθούμε.

4. 14 Σεπτεμβρίου 2026 στις 12:59 μ.μ. UTCresolved

   Οι χρόνοι αναμονής για τις θέσεις εργασίας MacOS επανήλθαν στο φυσιολογικό.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 10 Σεπτεμβρίου 2026 στις 8:25 μ.μ. UTCidentified

   Ένας μικρός αριθμός πελατών μπορεί να δει λάθη ή να μην είναι σε θέση να φορτώσει τη σελίδα των αγωγών για έργα με προειδοποιήσεις που έχουν αποσβεστεί, όταν χρησιμοποιούν την κλασική άποψη των αγωγών. Οι πελάτες στην άποψη των νέων αγωγών δεν επηρεάζονται. Αναγνωρίσαμε την αιτία και αναπτύξαμε μια λύση.

2. 10 Σεπτεμβρίου 2026 στις 8:25 μ.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

3. 10 Σεπτεμβρίου 2026 στις 8:26 μ.μ. UTCresolved

   Το περιστατικό λύθηκε. Ένας μικρός αριθμός πελατών που δημιούργησαν αγωγούς μεταξύ 18:53 UTC και 19:24 UTC που περιείχαν config χρησιμοποιώντας αποσβεσμένη σύνταξη ρυθμίσεων θα έχουν δει τις εργασίες κατασκευής τύπου τους να αποτυγχάνουν να ξεκινήσουν. Οι πελάτες των οποίων οι εργασίες ή οι αγωγοί απέτυχαν μπορεί να τις επαναλάβουν.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 4 Σεπτεμβρίου 2026 στις 3:16 μ.μ. UTCinvestigating

   Εντοπίσαμε θέματα δικτύου που επηρεάζουν την υποδομή μας Mac. Ερευνούμε και θα ενημερώσουμε σύντομα. Οι πελάτες μπορεί να βιώσουν αναμονή κατά τη διάρκεια αυτής της περιόδου.

2. 4 Σεπτεμβρίου 2026 στις 3:43 μ.μ. UTCidentified

   Έχουμε εντοπίσει το θέμα της δικτύωσης με τον πάροχο υποδομής Mac μας, και συνεργαζόμαστε μαζί τους για να επιλύσουμε το ζήτημα. Αρχίζουμε να βλέπουμε κάποια ανάκαμψη, αλλά περιμένουμε οι πελάτες να δουν ακόμα κάποια ουρά. Θα το ανανεώσουμε σύντομα.

3. 4 Σεπτεμβρίου 2026 στις 4:19 μ.μ. UTCmonitoring

   Ο πάροχος υποδομής Mac μας έχει εφαρμόσει μια ρύθμιση σε αυτό το θέμα δικτύωσης και βλέπουμε τους χρόνους αναμονής να επιστρέφουν στο φυσιολογικό. Θα συνεχίσουμε να παρακολουθούμε τα πράγματα για λίγο ακόμα. Θα το ανανεώσουμε σύντομα.

4. 4 Σεπτεμβρίου 2026 στις 4:55 μ.μ. UTCresolved

   Δεν είδαμε άλλη επίδραση στις ώρες της ουράς και όλα επέστρεψαν στο φυσιολογικό. Εκτιμούμε την υπομονή σας, ενώ εργαστήκαμε για την επίλυση και την παρακολούθηση αυτού του ζητήματος.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 26 Αυγούστου 2026 στις 3:43 μ.μ. UTCidentified

   Οι πελάτες μπορεί να βιώσουν διαλείποντα σφάλματα κατά την προβολή UI χρήσης σχεδίου ή την κλήση API χρήσης σχεδίου. Έχουμε εντοπίσει το ζήτημα και εργαζόμαστε ενεργά για να μετριάσουμε αυτά τα σφάλματα.

2. 26 Αυγούστου 2026 στις 4:04 μ.μ. UTCmonitoring

   Έχουμε μετριάσει το θέμα με API χρήσης σχεδίου και οι σχετικές σελίδες στο UI φορτώνουν σωστά.

3. 26 Αυγούστου 2026 στις 4:10 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 25 Αυγούστου 2026 στις 11:20 μ.μ. UTCresolved

   Μεταξύ 19:49 UTC και 21:07 UTC στις 25 Αυγούστου 2026, οι πελάτες που προσπαθούσαν να συνδεθούν στο CircleCI χρησιμοποιώντας το GitHub δεν ήταν σε θέση να υπογράψουν, και έλαβαν ένα σφάλμα από το GitHub δηλώνοντας ότι το URL ανάκτησης ήταν άκυρο. Οι πελάτες που είχαν ήδη συνδεθεί δεν επηρεάστηκαν. Το θέμα έχει επιλυθεί και η σύνδεση GitHub λειτουργεί κανονικά. Σας ευχαριστούμε για την υπομονή σας, ενώ η ομάδα μας εργάστηκε για την εφαρμογή μιας ρύθμισης.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 17 Αυγούστου 2026 στις 9:06 μ.μ. UTCidentified

   Η αιτία του ζητήματος έχει εντοπιστεί και είμαστε στην εργασία για τον καθορισμό του.

2. 17 Αυγούστου 2026 στις 9:36 μ.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

3. 17 Αυγούστου 2026 στις 9:37 μ.μ. UTCresolved

   Ενόραση δεδομένων είναι καλό για μια ακόμη φορά. Σας ευχαριστώ για την υπομονή σας.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.