Οι πολλαπλές υπηρεσίες αντιμετώπιζαν ζητήματα στην περιοχή της Ευρώπης-δυτικής2.
- resolved
**Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Η ομάδα μας συνεχίζει να ερευνά το θέμα. Θα παρέχουμε μια ενημέρωση μέχρι την Τρίτη, 2026-10-20 02:30 PDT με τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Πολλαπλές υπηρεσίες Google Cloud βιώνουν αυξημένα σφάλματα και διαλείπουσες αποτυχίες στο δίκτυο στην περιοχή Europe-west2. ** Εργασία ** Καμία προς το παρόν
- resolved
**Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Η ομάδα μας συνεχίζει να ερευνά το θέμα. Θα σας ενημερώσουμε μέχρι την Τρίτη 2026-10-20 04:00 PDT με τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Πολλαπλές υπηρεσίες Google Cloud αντιμετωπίζουν αυξημένα σφάλματα και διαλείπουσες αποτυχίες του δικτύου στην περιφέρεια Europe-West2. Σημείωση: Το Looker Studio δεν επηρεάζεται από αυτή τη διακοπή. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).
- resolved
**Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Η ομάδα μας συνεχίζει να ερευνά το θέμα. Θα παρέχουμε ενημέρωση μέχρι την Τρίτη, 2026-10-20 05:00 PDT με τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Πολλαπλές υπηρεσίες Google Cloud αντιμετωπίζουν αυξημένα σφάλματα και διαλείπουσες αποτυχίες του δικτύου στην περιφέρεια Europe-West2. Σημείωση: Το Looker Studio δεν επηρεάζεται από αυτή τη διακοπή. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).
- resolved
**Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Λόγω ενός γεγονότος ισχύος είχαμε υποστεί διακοπή εντός της ζώνης της Ευρώπης-west2-b. Το γεγονός της ισχύος μετριάζεται. Ο μερικός μετριασμός των υπηρεσιών υποδομής θα παρατηρηθεί εντός των επόμενων 30 λεπτών και οι υπόλοιπες υπηρεσίες θα μετριαστούν στη συνέχεια. Θα παρέχουμε ενημέρωση μέχρι την Τρίτη, 2026-10-20 05:00 PDT με τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Οι υπηρεσίες Google Cloud δεν είναι διαθέσιμες στη ζώνη Europe-west2-b. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).
- resolved
**Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Ένα γεγονός ηλεκτρικής ενέργειας προκάλεσε διακοπή εντός της ζώνης Europe-west2-b. Το γεγονός της ισχύος μετριάζεται. Βλέπουμε την ανάκαμψη των υπηρεσιών και δίνουμε προτεραιότητα στην ανάκτηση των υφιστάμενων φόρτου εργασίας. Οι πελάτες μπορεί να μην είναι σε θέση να δημιουργήσουν ακόμα νέους φόρτους εργασίας. Η πλήρης ανάκτηση του υφιστάμενου φόρτου εργασίας θα πρέπει να έχει ολοκληρωθεί, προσωρινά μέχρι την Τρίτη 2026-10-20 06:00. Θα σας ενημερώσουμε μέχρι την Τρίτη 2026-10-20 06:00 PDT με τις τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Οι υπηρεσίες Google Cloud δεν είναι διαθέσιμες στη ζώνη Europe-west2-b. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).
- resolved
**Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Βλέπουμε την ανάκτηση των υπηρεσιών για τους περισσότερους φόρτους εργασίας στην Ευρώπη-δυτικά2 από την Τρίτη, 2026-10-20 05:10 PDT. Θα σας ενημερώσουμε μέχρι την Τρίτη 2026-10-20 07:00 PDT με τις τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Οι υπηρεσίες Google Cloud δεν είναι διαθέσιμες στη ζώνη Europe-west2-b. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).
- resolved
**Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετώπιζαν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Το θέμα με τα προϊόντα GCP που επηρεάζονται έχει μετριαστεί για τους περισσότερους από τους πελάτες και πιστεύεται ότι επηρεάζει επί του παρόντος έναν πολύ μικρό αριθμό πελατών και η Ομάδα Μηχανικών μας εργάζεται πάνω σε αυτό. Εάν έχετε ερωτήσεις ή έχετε επιπτώσεις, παρακαλούμε ανοίξτε μια υπόθεση με την Ομάδα Υποστήριξης και θα συνεργαστούμε μαζί σας μέχρι να επιλυθεί αυτό το ζήτημα. Δεν θα υπάρξουν περαιτέρω ενημερώσεις εδώ. Θα δημοσιεύσουμε μια ανάλυση αυτού του περιστατικού μόλις ολοκληρώσουμε την εσωτερική μας έρευνα. Σας ευχαριστούμε για την υπομονή σας, ενώ εργαζόμαστε για την επίλυση του ζητήματος. ** Συμπτώματα ** Οι υπηρεσίες Google Cloud δεν ήταν διαθέσιμες στη ζώνη Europe-west2-b. ** Εργασία ** Κανένα πρόβλημα δεν έχει μετριαστεί.
- resolved
** Προκαταρκτική Έκθεση Περιστατικού ** Αναγνωρίζουμε ότι οι υπηρεσίες Google Cloud είναι κρίσιμες για την οργάνωσή σας, και ζητάμε ειλικρινά συγγνώμη για την αναστάτωση που μπορεί να προκάλεσε αυτό το περιστατικό στην επιχείρησή σας. Προσπαθούμε να αντιμετωπίσουμε τη βασική αιτία και να αποτρέψουμε αυτό να συμβεί στο μέλλον. Παρακαλείστε να σημειώσετε ότι αυτές οι πληροφορίες βασίζονται στις καλύτερες γνώσεις μας κατά τη στιγμή της δημοσίευσης και υπόκεινται σε αλλαγές καθώς η έρευνά μας συνεχίζεται. Μια τελική αναφορά περιστατικών με προληπτικές ενέργειες θα δημοσιευθεί μόλις ολοκληρωθεί η έρευνά μας. Εάν έχετε βιώσει αντίκτυπο εκτός αυτού που αναφέρεται παρακάτω, παρακαλούμε επικοινωνήστε με την Υποστήριξη Google Cloud χρησιμοποιώντας το https://cloud.google.com/ support. **Ημερομηνία/Ώρα του τεύχους (Όλη την ώρα ΗΠΑ/Ειρηνικού) ** Έναρξη: 19 Οκτωβρίου 2026 23:00 Τέλος: 20 Οκτωβρίου 2026 05:10 Διάρκεια: 6 ώρες, 10 λεπτά **Περίληψη ** Τη Δευτέρα, 19 Οκτωβρίου 2026, πολλαπλές υπηρεσίες Google Cloud Platform στην περιοχή της Ευρώπης-δυτικής 2, παρουσίασαν διαταραχές των υπηρεσιών, αυξημένα ποσοστά σφαλμάτων, χρονικές διακοπές Προγραμματισμού Εφαρμογών (API) και καθυστέρηση επεξεργασίας για 6 ώρες και 10 λεπτά. Η διακοπή προκλήθηκε από διακοπή της ηλεκτρικής ενέργειας στην εγκατάσταση datacenter που φιλοξενεί τη ζώνη διαθεσιμότητας europe-west2-b, η οποία πήρε προσωρινά φυσικούς εξυπηρετητές, υλικό δρομολόγησης δικτύου και συστήματα αποθήκευσης εκτός σύνδεσης. Αυτό στη συνέχεια προκάλεσε δευτερογενή αποτυχία και αναμονή των καθυστερήσεων σε μη επιρρεπείς περιφερειακές υποδομές. ** Προκαταρκτική αιτία ρίζας ** Το περιστατικό πυροδοτήθηκε όταν συνέβη διακοπή του δικτύου ηλεκτρικής ενέργειας στη μονάδα datacenter που φιλοξενεί τη ζώνη διαθεσιμότητας europe-west2-b. Για να διατηρηθεί η συνεχής ισχύς κατά τη διάρκεια της διακοπής, ενεργοποιήθηκε αμέσως η αυτόματη μεταφορά σε εφεδρικά συστήματα ισχύος εγκατάστασης. Το φορτίο εγκατάστασης μεταφέρθηκε στις τράπεζες μπαταριών του Uninterruptible Power Supply (UPS) κατά τη διάρκεια της σειράς εκκίνησης των επιτόπιων γεννητριών ντίζελ έκτακτης ανάγκης. Το σύστημα αυτοματισμού προγραμματιζόμενου λογικού ελεγκτή (PLC) (τόσο τα πρωτογενή όσο και τα εφεδρικά PLC) δεν κατάφερε να ξεκινήσει τις λογικές λειτουργίες αυτόματης εκκίνησης/μεταφοράς των γεννητριών, εμποδίζοντας τις εφεδρικές γεννήτριες να αναλάβουν το φορτίο. Όταν τα αποθέματα της μπαταρίας UPS εξαντλήθηκαν, οι φυσικοί εξυπηρετητές-ξενιστές, το ύφασμα που αλλάζει το δίκτυο, και οι τοπικές συστοιχίες αποθήκευσης αφιερωμένες στην europe-west2-b έχασαν ισχύ και βγήκαν εκτός σύνδεσης. Η σειρά των γεγονότων που οδήγησαν στην επίδραση του πελάτη ήταν η εξής: - Στις 22:53 US/Pacific, μια διακοπή της ηλεκτρικής ενέργειας συνέβη στη μονάδα datacenter που φιλοξενεί τη ζώνη διαθεσιμότητας europe-west2-b, και ένα PLC (Programmable Logic Controller) σφάλμα εκκίνησης εμπόδισε γεννήτριες έκτακτης ανάγκης εγκατάστασης από την ανάληψη του ηλεκτρικού φορτίου. Το φορτίο εγκατάστασης συνέχισε να υποστηρίζεται από τράπεζες μπαταριών UPS μέχρι να εξαντληθούν οι μπαταρίες, ξεκινώντας από τις 23:00 ΗΠΑ/Ειρηνικού. - Όταν οι φυσικοί εξυπηρετητές υποδοχής, η τοπική υποδομή αποθήκευσης, και το υλικό συσσώρευσης δικτύων σε europe-west2-b έχασε την ισχύ, προκάλεσε περιπτώσεις, αντίγραφα βάσεων δεδομένων, και κόμβους εργαζομένων σε αυτή τη ζώνη να γίνει αμέσως μη προσβάσιμο. - Περιφερειακοί μηχανισμοί κυκλοφορίας και εφαρμογές πελατών ξεκίνησαν αυτοματοποιημένη αποτυχία προς τη διαθέσιμη υποδομή σε γειτονικές ζώνες διαθεσιμότητας εντός της περιοχής. - Διασταυρωμένη διαδικασία κλήσεις από περιφερειακά αεροπλάνα ελέγχου υπηρεσιών που κατευθύνονται σε μεταδεδομένα και συστατικά καταλόγου στην εκτός σύνδεσης ζώνη συνάντησε χρονόμετρα, προκαλώντας αρχικές θέσεις εργασίας και αιχμές λανθάνουσας ισχύος API. - Η ξαφνική εισροή των επαναπροσανατολισμένων εκτελέσεων ερωτημάτων, των αποτυχιών της βάσης δεδομένων υψηλής διαθεσιμότητας και του υπολογισμού των φορτίων εργασίας κορεσμένων διαθέσιμων υπολογιστικών αυλακώσεων και της ικανότητας επεξεργασίας σε άλλες ζώνες διαθεσιμότητας, δημιουργώντας αυξημένες ουρές εισόδου, καθυστερημένες αποτυχίες της βάσης δεδομένων, και διαλείποντα 500 και 503 λάθη API σε όλη την περιοχή. Οι μηχανικοί της Google έχουν ξεκινήσει μια πλήρη ανάλυση της βασικής αιτίας (RCA) και θα παρέχουν πρόσθετες πληροφορίες μόλις είναι διαθέσιμη. ** Αντιμετώπιση ** Οι μηχανικοί της Google ειδοποιήθηκαν για τη διακοπή μέσω αυτοματοποιημένων συστημάτων παρακολούθησης και προβολέων στις 23:08 ΗΠΑ/Ειρηνικού τη Δευτέρα, 19 Οκτωβρίου 2026, η οποία εντόπισε αυξημένες αναλογίες σφαλμάτων API, χρονισμούς υποβολής θέσεων εργασίας και απώλεια δυνατότητας πρόσβασης σε υποδομές στην europe-west2-b. Οι ομάδες μηχανικών κινητοποιήθηκαν αμέσως για να απομονώσουν την πληγείσα υποδομή και να ξεκινήσουν την ανάκτηση: - Απομόνωση της κυκλοφορίας: Οι μηχανικοί της Google απομόνωσαν την εκτός σύνδεσης ζώνη διαθεσιμότητας (europe-west2-b) προσαρμόζοντας την περιφερειακή υπηρεσία routing μακριά από την πληγείσα υποδομή, εμποδίζοντας τα διαζωνικά αιτήματα των πελατών να χρονομετρήσουν τα εκτός σύνδεσης τελικά σημεία. - Εργασιακός φόρτος Επαναπροσδιορισμός και Διαφύλαξη Πόρων: Μηχανικοί προσαρμόστηκαν οι κατανομές προγραμματιστών και τα όρια χωρητικότητας σε μη επιρρεπείς υποδομές για να ιεραρχήσουν τις ενεργές κρατήσεις πελατών, να μειώσουν τον ισχυρισμό πόρων για τις υποδοχές εκτέλεσης, και να ανακουφίσουν τις ουρές για τις περιφερειακές φόρτους εργασίας. - Αποκατάσταση Power Grid: Οι μηχανικοί εγκαταστάσεων στο χώρο της εγκατάστασης διεξήγαγαν χαριτωμένη αποκατάσταση μιας σταθερής τροφοδοσίας ενέργειας κοινής ωφέλειας μόλις η παροχή βοηθητικής ενέργειας ήταν πίσω, μέσα σε 1 ώρα. Μετά από αυτό, επικέντρωσαν και ολοκλήρωσαν μια επαναφορά και δοκίμασαν τους ελεγκτές αυτοματοποίησης γεννήτριας έκτακτης ανάγκης για την αποκατάσταση της ισχύος εγκατάστασης. - Προοδευτική Επανενεργοποίηση Υποδομών: Οι μηχανικοί της Google επανεκκίνησαν συστηματικά την βασική υποδομή και υπηρεσίες του Google Cloud. - Ελεγχόμενη κυκλοφορία επανεισδοχή: Μόλις επαληθευτεί η υγεία του συστήματος και η ακεραιότητα της αποθήκευσης, οι μηχανικοί εκτέλεσαν σταδιακή, ελεγχόμενη κυκλοφορία επανεισδοχή πίσω στη ζώνη europe-west2-b επιτρέποντας συσσωρευμένες backlogs εργασίας για να καθαρίσει ομαλά. Μέχρι τις 05:10 ΗΠΑ/Ειρηνικού την Τρίτη, 20 Οκτωβρίου 2026, η διαθεσιμότητα υπηρεσιών είχε ανακτηθεί για τη συντριπτική πλειοψηφία του φόρτου εργασίας των πελατών, και επιβεβαιώθηκε η ανάλυση για τους περισσότερους πελάτες σε όλη την πλατφόρμα Google Cloud στην περιοχή. Μετά την ανάκτηση μιας μικρής ουράς απομονωμένου φόρτου εργασίας, η κοινοποίηση κλεισίματος για το περιστατικό δημοσιεύτηκε στις 07:03 ΗΠΑ/Ειρηνικού. **Περιγραφή του αντίκτυπου ** Μεταξύ Δευτέρας, 19 Οκτωβρίου 2026, 23:00 και Τρίτης, 20 Οκτωβρίου 2026, 05:10 ΗΠΑ/Ειρηνικού, οι πελάτες που χρησιμοποιούν τις υπηρεσίες Google Cloud Platform στην περιοχή της Ευρώπης-δυτικής2 παρουσίασαν διαταραχές των υπηρεσιών σε δύο διαδοχικές φάσεις, διαρκώντας συνολική διάρκεια 6 ωρών, 10 λεπτών. Κατά την αρχική φάση από τις 23:00 έως τις 04:29 US/Pacific (διάρκεια 5 ώρες, 29 λεπτά), οι πελάτες γνώρισαν αυξημένα ποσοστά σφάλματος, διαλείμματα API, και καθυστερήσεις επεξεργασίας μέχρι τις περισσότερες υπηρεσίες Google Cloud Platform ανακτήθηκαν. Μετά την αποκατάσταση της υπηρεσίας πλατφόρμας, μερικοί φόρτοι εργασίας των πελατών που τρέχουν σε περιπτώσεις Compute Engine βίωσε μια μεγαλύτερη ουρά ανάκτησης. Μέχρι 04:46 US/Pacific νέα δημιουργία Virtual Machine και από 05:10 US/Pacific πάνω από 99% του Compute Engine Virtual Machines ήταν σε υγιή κατάσταση. Οι εναπομείναντες πελάτες που αντιμετωπίζουν προβλήματα Virtual Machine θα πρέπει να υποβάλουν ένα θέμα υποστήριξης πελατών σύμφωνα με την κανονική διαδικασία. Ενώ η φυσική διακοπή ρεύματος απομονώθηκε αυστηρά σε εγκαταστάσεις datacenter στο europe-west2-b, ορισμένοι πελάτες που εκτελούν φόρτο εργασίας σε μη επιρρεπείς ζώνες (europe-west2-a και europe-west2-c) ή σε περιφερειακές αρχιτεκτονικές γνώρισαν επίσης απροσδόκητες επιπτώσεις. Οι κύριες αιτίες ήταν 1) στιγμιαίες αυξήσεις της ζήτησης σε μη αντικρουόμενη υπολογιστική ικανότητα και 2) εξαρτήσεις από τη σύγχρονη επικύρωση σε επίπεδο ελέγχου σε επίπεδο ζώνης. Προσβεβλημένα προϊόντα περιλαμβάνονται: BigQuery, Looker, Google Compute Engine, Google Kubernetes Engine, Regional Persistent Disk, και Cloud SQL. Αυτές οι υπηρεσίες αντιμετώπισαν απροσδόκητη υποβάθμιση και αποτυχίες που καθοδηγήθηκαν από ξαφνική εξάντληση ικανότητας από την αύξηση της ζήτησης, και χρονόμετρα API αεροπλάνου ελέγχου που περιμένουν επικυρώσεις από την εκτός σύνδεσης ζώνη. Ο φόρτος εργασίας και οι πόροι που φιλοξενούνται εξ ολοκλήρου εντός της europe-west2-b κατέστησαν απρόσιτοι. Οι υπηρεσίες αποθήκευσης δεδομένων με δυνατότητα αποτυχίας, όπως το Cloud SQL, το AlloyDB, το Memorystore for Redis, και το Cloud Bigtable απέτυχαν σε κοντινές άθικτες ζώνες κατά τη διάρκεια της διακοπής του europe-west2-b. Οι πολυζωνικές και περιφερειακές υπηρεσίες που εκτείνονται σε ολόκληρη την περιοχή του ευρώ-δυτικού 2 παρουσίασαν αυξημένη καθυστέρηση, παροδικά σφάλματα API (όπως τα σφάλματα HTTP 500 και 503), και εισδοχή εργασιών που απαιτούσαν τη διακοπή της κυκλοφορίας, η οποία επικεντρώθηκε σε μη επιρρεπείς περιφερειακούς πόρους και διαζωνικές εκκλήσεις σε εκτός σύνδεσης στοιχεία. Οι εργασίες για την καταγραφή των αποθηκών στην περιοχή παρουσίασαν παροδικό ποσοστό σφάλματος κατά την αρχική περίοδο αποτυχίας, και οι ουρές για την εισαγωγή περιφερειακών ερωτημάτων κορυφώθηκαν προσωρινά πριν από την ταχεία επιδότηση της παραγωγικής ικανότητας. Οι ακόλουθες υπηρεσίες Google Cloud Platform γνώρισαν αντίκτυπο: - Κράμα DB για PostgreSQL - Apigee - Υπηρεσία μεταφοράς δεδομένων BigQuery - Σύντηξη δεδομένων νεφών - Cloud Filestore - Πυροσβεστικό Σύννεφο - Εξισορρόπηση φορτίου νεφών - Το κατάστημα μνήμης Cloud - Σύννεφο NAT - Σύννεφο τρέχει - Σύννεφο Spanner - Εργαστήρια Σύννεφων - Ντέιταστριμ - Διάλογος ροής CX - Μηχανή εφαρμογών Google - Google BigQuery - Το Google Cloud Bigtable - Google Cloud Dataflow - Google Cloud Dataproc - τόμοι Google Cloud NetApp - Google Cloud Pub/Sub - Google Cloud SQL - Αποθήκευση Google Cloud (GCS) - Μηχανή υπολογισμού Google (GCE) - Μηχανή του Google Kubernetes (GKE) - Google SecOps (Διαχείριση πληροφοριών και γεγονότων ασφάλειας [SIEM] και Ενορχήστρωση, Αυτοματισμοί και Ανταπόκριση [SOAR]) - Κοίτα τον πυρήνα του Google Cloud - Κοίτα το στούντιο. - Διαχειριζόμενη ροή αέρα (Google Cloud Συνθέτης) - Διευθύνουσα Υπηρεσία για Απάτσι Κάφκα - Memmestore για Memcached - Memorystore για Redis - Memorystore για συστάδα Redis - Memorystore για Valkey - Κέντρο Δικτύωσης - Επίμονος δίσκος - Ιδιωτική σύνδεση υπηρεσιών - Λόγος προς κείμενο - Εικονικό Ιδιωτικό Σύννεφο (VPC) - Μηχανή VMWare
- resolved
## Incident Report ### **Summary** On Monday, 19 Oct 2026 (Tuesday, 20 Oct BST), a data center facility that hosts europe-west2-b, experienced an external electrical power disruption. This resulted in service unavailability for workloads located in this zone. As traffic was redirected to alternative cloud regions or unaffected zones within europe-west2 cloud region, these workloads experienced transient latency and elevated errors affecting services across europe-west2. The primary impact was mitigated after 6 hours 8 minutes. ### **Root Cause** **Facility architecture and background:** The data center facility in the UK region hosts Cloud clusters serving the europe-west2-b zone, which form part of the multi-zonal europe-west2 Cloud region. The site relies on a 2N utility power architecture—meaning the facility has complete duplicate power paths for every critical load—backed by a central high-voltage generator bank managed by a dual-redundant Programmable Logic Controller (PLC). Primary utility power is supplied to the facility via two independent feeders (A and B), supplemented by a standby utility connection configured for manual campus-wide transfer during maintenance operations or emergency events. The two high-voltage primary feeders terminate at separate primary intake switchboards capable of closed-loop operation if either board is taken offline. Switching between the primary and standby utility providers utilizes open transitions and key interlocks to prevent parallel connections across sources. Static Uninterruptible Power Supply (UPS) battery systems provide 5 minutes of autonomous runtime. This bridge power ensures uninterrupted operation while the PLC detects utility undervoltage events, initiates diesel generator startup, synchronizes the generators, and transfers the site load. Prior to the utility disruption, the facility had been placed in a temporary single-feed (1N) bridged maintenance posture on the primary utility. Circuit breaker feeder B was physically opened and key-interlocked (Locked Out Tagged Out) to allow for corrective repairs following issues identified during a quarterly generator load test on 14 Oct 2026. Consequently, primary utility feed A was supporting the total critical load while repairs were conducted on the B feeder pathway. **Root Cause:** On Monday, 19 Oct 2026 at 22:53 US/Pacific (Tuesday, 20 Oct 06:53 BST), the primary utility provider experienced an outage on primary utility feed A, caused by an external underground cable fault on the utility network outside the data center facility. When the primary utility feed A was lost, the facility’s generator plant failed to receive a signal to automatically start and take critical load due to a design voltage-sensing and misconfiguration in the PLCs. The facility's static UPS battery banks carried the critical load as designed until their battery reserves depleted resulting in a complete power loss across data halls. The investigation of the PLC configuration identified the root cause as a misconfiguration of the PLC logic that did not verify both an undervoltage condition and physical breaker position for both utility feeders. Instead, the PLC undervoltage sensing inputs were wired upstream (line side) of the isolated utility feed B breaker. The PLC was programmed to verify whether voltage was present on the feeder before commanding a generator start. As the utility feed B remained energized upstream, both PLCs sensed live upstream voltage on the disconnected path. As a result, the PLC logic indicated that a healthy utility source was available, even though the primary and secondary distribution feeds were de-energized, and did not issue a start command to the generator plant.; The onsite facilities team attempted to execute a remote load transfer via the PLC; however, the system inhibited the action. Recognizing that the UPS battery reserves would be exhausted before further remote operations could be resolved, the team transferred the facility load to the standby utility source, restoring the critical load that was lost once batteries depleted during this process. Once utility power was restored via the standby utility source, and UPS batteries started recharging, the onsite facility teams and OEM vendors reconfigured and validated PLC functionality on both undervoltage and breaker status. After the power loss was initially detected, Google engineers began work to mitigate failover failures and prepare service recovery. Upon restoration of the utility source, UPS and generator capabilities, they began the process to re-enable services in europe-west2-b. ### Remediation and Prevention The sequence of events leading to customer impact was as follows: * **19 Oct 22:53 US/Pacific (20 Oct BST 06:53 BST) -** An electrical power disruption occurred at the data center facility hosting availability zone europe-west2-b, and a PLC (Programmable Logic Controller) startup fault prevented facility emergency generators from assuming the electrical load. Facility load continued to be supported by UPS battery banks until the batteries were depleted. * **19 Oct 23:00 US/Pacific (20 Oct 07:00 BST)** **Impact start -** As battery backups were exhausted, physical host servers, local storage infrastructure, and network aggregation hardware in availability zone europe-west2-b lost power, causing instances, database replicas, and worker nodes in that zone to become immediately unreachable. * **19 Oct 23:04 US/Pacific (20 Oct 07:04 BST) -** Google engineers were alerted to the disruption via automated monitoring systems and probers, which detected elevated API error ratios, job submission timeouts, and loss of infrastructure reachability in zone europe-west2-b. Engineering teams immediately mobilized to isolate the affected infrastructure and commence recovery. * **19 Oct 23:09 US/Pacific (20 Oct 07:09 BST) -** Regional traffic-routing mechanisms and client applications initiated automated failover toward available infrastructure in adjacent availability zones within the region. * Cross-zone remote procedure calls from regional service control planes directed to metadata and catalog components in the offline zone encountered timeouts, causing initial job submission stalls and API latency spikes. * The sudden influx of redirected query executions, high-availability database failovers, and compute workloads saturated available compute slots and processing capacity in other availability zones, creating elevated admission queues, delayed database failover completions, and intermittent 500 and 503 API errors across the region. * **Traffic Isolation:** Google engineers isolated the offline availability zone (europe-west2-b) by adjusting regional service routing away from the affected infrastructure, preventing cross-zone client requests from timing out against offline endpoints. * **Workload Reprioritization and Resource Safeguards:** Engineers adjusted scheduler allocations and capacity limits across unimpacted infrastructure to prioritize active customer reservations, reduce resource contention on execution slots, and relieve queue backlogs for regional workloads. * **19 Oct 23:54 US/Pacific (20 Oct 07:54 BST) Utility Power Restoration** **\-** Power supply from the standby utility source was restored and power restoration to the data hall began. * **20 Oct 00:20 US/Pacific (08:20 BST) Datahall Power Restoration** **\-** Utility power was re-established to the datahalls. Mains utility power normalized; power feed to data hall verified. Following this, the site operations and engineering teams focused on and completed a reset and tested the emergency backup generator automation controllers to restore facility power. * **20 Oct 00:40 US/Pacific (08:40 BST)** **\-** Clusters began to recover, cluster manager systems started rescheduling compute jobs. * **20 Oct 00:45 US/Pacific (08:45 BST) \-** Network devices were back online. * **20 Oct 00:50 US/Pacific (08:50 BST) \-** Due to the immediacy of power loss, storage devices with unclean shutdowns began recovery. Responders recognized this and chose not to restore services that would otherwise make this worse. Because of the large volume of storage devices involved, this process required a substantial period to finish prior to restoring service to customers. * **20 Oct 03:13 US/Pacific (11:06 BST)** **\-** Power redundancy was verified and the storage infrastructure was sufficiently restored to prepare the initiation of controlled traffic re-admission. The remaining storage systems continued recovery operations. * **20 Oct 03:45 US/Pacific (11:45 BST) Controlled Traffic Re-admission** **\-** Once system health and storage integrity were verified, engineers executed gradual, controlled traffic re-admission back to zone europe-west2-b allowing accumulated job backlogs to clear smoothly. * **20 Oct 04:11 US/Pacific (12:11 BST)** **\-** Google Cloud Platform services and APIs were made fully available to customers. Some Google Compute Engine virtual machines were still not yet available. * **20 Oct 04:29 US/Pacific (12:29 BST) \-** Regional services and backend compute management systems were fully undrained, marking the end of core platform-level disruption. * **20 Oct 05:08 US/Pacific (13:08 BST) Majority Workload Recovery** **\-** GCE virtual machines were 99.5% operational and healthy, and creating new VMs was fully supported. Service availability was restored for most customer workloads, with resolution confirmed for the majority of users across Google Cloud Platform services in the region. Following the recovery of a small tail of remaining isolated workloads, the closure notification for the incident was posted by 07:03 US/Pacific (15:03 BST). Google is committed to preventing a repeat of this issue in the future and is completing the following actions: **Data Center Action Items:** * Restoration of normal utility configuration (both A & B feeds) * Utility provider to locate the damaged cable fault, using low-frequency radar penetration testing procedures. **\[Completed 26 Oct\]** * Utility provider to send on-site engineers to repair the cable fault and restore the impacted primary utility feed A source. **\[Estimated Completion Date 30 Oct\]** * Onsite Operations teams with a controlled method of procedure (MOP) to transfer the facility to its primary utility source (feeds A and B) from standby utility feed through coordinated switching with the utility provider **\[Estimated Completion Date 31 Oct\]** * Generator confidence testing * Full generator load transfer tests with utility power cutover of the active utility feed. Test automatic startup of generators through PLC signals within the backup battery timer and detailed review of backup procedures **\[Completed on 20 Oct and 26 Oct (full critical load transfer test including updated EOPs)\]** * Full generator load transfer tests in coordination with the primary utility source feeds (A and B) after restoration work completed by the primary utility provider. **\[Estimated Completion Date 31 Oct\]** * PLC configuration fix * Reconfigured and validated the PLC after the outage on 20 Oct and then again on 26 Oct **\[Completed 26 Oct\]** * Google engineers to work in collaboration with the facility vendor teams to perform a comprehensive PLC code review and system resiliency to multiple failure scenarios. **\[Estimated Completion Date (prior to generator transfer test) estimated 31 Oct\]** * Validate PLC telemetry once primary utility feed A and B lineup is restored. **\[Estimated Completion Date 31 Oct\]** * Validate global PLC configurations at all global sites with similar topologies and PLC manufacturers, to ensure confidence in automatic generator starts. **\[Estimated Completion Date 15 Nov\]** * Emergency Operating Procedures (EOP) documentation update: * Comprehensive update to the EOP for site’s response to unexpected loss of active utility source. Update includes \- manual steps to attempt to restore active utility feed, manual restart of generators and manual transfer to other utility sources within the UPS battery run time. **\[Completed 26 Oct\]** * Ensure updated EOP is practiced twice per shift by on-site facility team. **\[Completed 24 Oct and checked with Google DC Operations daily\]** * Strengthen change management: * Freeze planned maintenance activities at other sites with similar topologies, and implement elevated approvals and reviews for data center configuration changes which are outside their standard designs. **\[Estimated Completion Date 30 Oct\]** **Cloud Service Action Items:** * **Communications Enhancement:** Bolster notification speed by developing an automated alert-to-communication mechanism for location-impacting incidents. * **Platform Testing:** Expand platform-wide testing outcomes for infrastructure-level events. ### **Detailed Description of Impact** Between Monday, 19 Oct 2026, 23:00 US/Pacific (Tuesday, 20 Oct 2026, 07:00 BST) and Tuesday, 20 Oct 2026, 05:08 US/Pacific (13:08 BST), customers utilizing Google Cloud Platform services in the europe-west2 region experienced service disruptions across two consecutive phases, lasting a total duration of 6 hours, 08 minutes. During the initial phase from 23:00 to 04:29 US/Pacific (07:00 to 12:29 BST) (duration 5 hours, 29 minutes), customers experienced unavailability of zone-scoped resources in products, including: * **Compute Engine** \- VM instances, zonal MIGs, unmanaged instance groups, zonal NEGs, sole-tenant node groups, zonal reservations, target instances, zonal API operations. * **Persistent Disk / Hyperdisk** \- Zonal PD, zonal Hyperdisk, Hyperdisk storage pools, instant snapshots. * **GKE \-** Zonal clusters (control plane), node pool nodes in \-b, PVs on zonal disks. * **Cloud SQL \-** Non-HA instances, read replicas in \-b. * **AlloyDB \-** Basic (non-HA) primaries in \-b. * **Bigtable \-** Single-cluster instances in \-b. * **Other products with affected zonal resources:** Cloud Batch, Cloud Build, Cloud Storage, Cloud Workstations, Composer, Dataproc, Filestore, Managed Lustre, Migrate to VMs, NetApp Volumes, Pub/Sub Lite, Vertex AI Workbench, VMware Engine. The unavailability of those resources scoped to a zone that undergoes disruption is working within the design of a zonally-scoped system. Requests made to these resulted either in a timeout or error code during the disruption. Any workloads and resources hosted entirely within europe-west2-b became unreachable due to this event. Google Compute Engine's zonal resources such as VMs require customers to provision failover or cross-zone recovery resources if needed, and to set up a recovery mechanism that matches their needs. Some failovers were unsuccessful due to capacity constraints and difficulty in replicating the underlying storage mechanism. Following platform service restoration, some customer workloads running on Compute Engine instances as well as products that rely on Compute Engine experienced a longer recovery. By 04:46 US/Pacific (12:46 BST) new Virtual Machine creation resumed and by 05:08 US/Pacific (13:08 BST) over 99% of Compute Engine Virtual Machines were in a healthy state. Any remaining customers that were experiencing Virtual Machine problems were directed to file a customer support case as per normal procedure. While the physical power outage was isolated strictly to data center facilities in zone europe-west2-b, some customers running workloads in unimpacted zones (europe-west2-a and europe-west2-c) or across regional architectures also experienced unexpected impact. The primary causes of impact outside of zone europe-west2-b were: 1\) Instantaneous demand surges on neighboring zones (a and c) and 2\) Control-plane dependencies across zonal boundaries Affected products included: AlloyDB, Apigee Infra and Apigee Edge, BigQuery, Cloud Dataflow, Cloud Pub/Sub, Cloud SQL, Google Compute Engine, Google Kubernetes Engine, Looker, Regional Persistent Disk, Vertex AI Prediction, and Cloud Speech-to-Text. These services experienced unexpected degradation and failover issues driven by sudden compute capacity exhaustion from surging demand, and control-plane API timeouts. Customers would have experienced the inability to create, update, or delete some regional resources during this period. This was not a full regional control-plane outage, but certainly a degraded state. Multi-zonal and regional services that spanned across the europe-west2 region experienced elevated latency, transient API errors (such as HTTP 500 and 503 errors), and task admission queuing as failover traffic concentrated onto unimpacted regional resources and cross-zone calls to offline components timed out. Storage write operations in the region experienced a transient error rate during the initial failover period, and regional query admission queues temporarily peaked before rapidly subsiding as capacity re-balanced. We did not identify any impact of the outage outside of the europe-west2 region. The following Google Cloud Platform services experienced impact within europe-west2: * AlloyDB for PostgreSQL * Apigee * BigQuery Data Transfer Service * Cloud Data Fusion * Cloud Filestore * Cloud Firestore * Cloud Load Balancing * Cloud Memorystore * Cloud NAT * Cloud Run * Cloud Spanner * Cloud Workstations * Datastream * Dialogflow CX * Google App Engine * Google BigQuery * Google Cloud Bigtable * Google Cloud Dataflow * Google Cloud Dataproc * Google Cloud NetApp Volumes * Google Cloud Pub/Sub * Google Cloud SQL * Google Cloud Storage (GCS) * Google Compute Engine (GCE) * Google Kubernetes Engine (GKE) * Google SecOps (Security Information and Event Management \[SIEM\] and Security Orchestration, Automation, and Response \[SOAR\]) * Looker (Google Cloud core) * Looker Studio * Managed Airflow (Google Cloud Composer) * Managed Service for Apache Kafka * Memorystore for Memcached * Memorystore for Redis * Memorystore for Redis Cluster * Memorystore for Valkey * Network Connectivity Center * Persistent Disk * Private Service Connect * Speech-to-Text * Virtual Private Cloud (VPC) * VMWare engine ----------
Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.