Ιστορικό διακοπών του Google Cloud

1. 20 Οκτωβρίου 2026 στις 8:35 π.μ. UTCresolved

   **Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Η ομάδα μας συνεχίζει να ερευνά το θέμα. Θα παρέχουμε μια ενημέρωση μέχρι την Τρίτη, 2026-10-20 02:30 PDT με τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Πολλαπλές υπηρεσίες Google Cloud βιώνουν αυξημένα σφάλματα και διαλείπουσες αποτυχίες στο δίκτυο στην περιοχή Europe-west2. ** Εργασία ** Καμία προς το παρόν

2. 20 Οκτωβρίου 2026 στις 9:24 π.μ. UTCresolved

   **Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Η ομάδα μας συνεχίζει να ερευνά το θέμα. Θα σας ενημερώσουμε μέχρι την Τρίτη 2026-10-20 04:00 PDT με τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Πολλαπλές υπηρεσίες Google Cloud αντιμετωπίζουν αυξημένα σφάλματα και διαλείπουσες αποτυχίες του δικτύου στην περιφέρεια Europe-West2. Σημείωση: Το Looker Studio δεν επηρεάζεται από αυτή τη διακοπή. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).

3. 20 Οκτωβρίου 2026 στις 11:00 π.μ. UTCresolved

   **Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Η ομάδα μας συνεχίζει να ερευνά το θέμα. Θα παρέχουμε ενημέρωση μέχρι την Τρίτη, 2026-10-20 05:00 PDT με τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Πολλαπλές υπηρεσίες Google Cloud αντιμετωπίζουν αυξημένα σφάλματα και διαλείπουσες αποτυχίες του δικτύου στην περιφέρεια Europe-West2. Σημείωση: Το Looker Studio δεν επηρεάζεται από αυτή τη διακοπή. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).

4. 20 Οκτωβρίου 2026 στις 11:12 π.μ. UTCresolved

   **Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Λόγω ενός γεγονότος ισχύος είχαμε υποστεί διακοπή εντός της ζώνης της Ευρώπης-west2-b. Το γεγονός της ισχύος μετριάζεται. Ο μερικός μετριασμός των υπηρεσιών υποδομής θα παρατηρηθεί εντός των επόμενων 30 λεπτών και οι υπόλοιπες υπηρεσίες θα μετριαστούν στη συνέχεια. Θα παρέχουμε ενημέρωση μέχρι την Τρίτη, 2026-10-20 05:00 PDT με τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Οι υπηρεσίες Google Cloud δεν είναι διαθέσιμες στη ζώνη Europe-west2-b. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).

5. 20 Οκτωβρίου 2026 στις 11:58 π.μ. UTCresolved

   **Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Αντιμετωπίζουμε ένα θέμα με πολλαπλές υπηρεσίες στην Ευρώπη-δυτικά2 ξεκινώντας τη Δευτέρα, 2026-10-19 23:08 PDT. Ένα γεγονός ηλεκτρικής ενέργειας προκάλεσε διακοπή εντός της ζώνης Europe-west2-b. Το γεγονός της ισχύος μετριάζεται. Βλέπουμε την ανάκαμψη των υπηρεσιών και δίνουμε προτεραιότητα στην ανάκτηση των υφιστάμενων φόρτου εργασίας. Οι πελάτες μπορεί να μην είναι σε θέση να δημιουργήσουν ακόμα νέους φόρτους εργασίας. Η πλήρης ανάκτηση του υφιστάμενου φόρτου εργασίας θα πρέπει να έχει ολοκληρωθεί, προσωρινά μέχρι την Τρίτη 2026-10-20 06:00. Θα σας ενημερώσουμε μέχρι την Τρίτη 2026-10-20 06:00 PDT με τις τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Οι υπηρεσίες Google Cloud δεν είναι διαθέσιμες στη ζώνη Europe-west2-b. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).

6. 20 Οκτωβρίου 2026 στις 12:44 μ.μ. UTCresolved

   **Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετωπίζουν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Βλέπουμε την ανάκτηση των υπηρεσιών για τους περισσότερους φόρτους εργασίας στην Ευρώπη-δυτικά2 από την Τρίτη, 2026-10-20 05:10 PDT. Θα σας ενημερώσουμε μέχρι την Τρίτη 2026-10-20 07:00 PDT με τις τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα ** Οι υπηρεσίες Google Cloud δεν είναι διαθέσιμες στη ζώνη Europe-west2-b. ** Εργασία ** Εάν είναι εφικτό, ο επιρρεπής πελάτης μπορεί να προσπαθήσει να μεταναστεύσει το φόρτο εργασίας του, ο οποίος έχει αντίκτυπο σε άλλη διαθέσιμη τοποθεσία (ζώνη ή περιοχή).

7. 20 Οκτωβρίου 2026 στις 2:03 μ.μ. UTCresolved

   **Περίληψη ** Οι πολλαπλές υπηρεσίες αντιμετώπιζαν ζητήματα στην περιοχή της Ευρώπης-δυτικής2. **Περιγραφή ** Το θέμα με τα προϊόντα GCP που επηρεάζονται έχει μετριαστεί για τους περισσότερους από τους πελάτες και πιστεύεται ότι επηρεάζει επί του παρόντος έναν πολύ μικρό αριθμό πελατών και η Ομάδα Μηχανικών μας εργάζεται πάνω σε αυτό. Εάν έχετε ερωτήσεις ή έχετε επιπτώσεις, παρακαλούμε ανοίξτε μια υπόθεση με την Ομάδα Υποστήριξης και θα συνεργαστούμε μαζί σας μέχρι να επιλυθεί αυτό το ζήτημα. Δεν θα υπάρξουν περαιτέρω ενημερώσεις εδώ. Θα δημοσιεύσουμε μια ανάλυση αυτού του περιστατικού μόλις ολοκληρώσουμε την εσωτερική μας έρευνα. Σας ευχαριστούμε για την υπομονή σας, ενώ εργαζόμαστε για την επίλυση του ζητήματος. ** Συμπτώματα ** Οι υπηρεσίες Google Cloud δεν ήταν διαθέσιμες στη ζώνη Europe-west2-b. ** Εργασία ** Κανένα πρόβλημα δεν έχει μετριαστεί.

8. 22 Οκτωβρίου 2026 στις 8:42 π.μ. UTCresolved

   Προκαταρκτική αναφορά περιστατικού . . . . . Αναγνωρίζουμε ότι οι υπηρεσίες Google Cloud είναι κρίσιμες για την οργάνωσή σας, και ζητάμε ειλικρινά συγγνώμη για την αναστάτωση που μπορεί να προκάλεσε αυτό το περιστατικό στην επιχείρησή σας. Προσπαθούμε να αντιμετωπίσουμε τη βασική αιτία και να αποτρέψουμε αυτό να συμβεί στο μέλλον. Παρακαλείστε να σημειώσετε ότι αυτές οι πληροφορίες βασίζονται στις καλύτερες γνώσεις μας κατά τη στιγμή της δημοσίευσης και υπόκεινται σε αλλαγές καθώς η έρευνά μας συνεχίζεται. Μια τελική αναφορά περιστατικών με προληπτικές ενέργειες θα δημοσιευθεί μόλις ολοκληρωθεί η έρευνά μας. Εάν έχετε βιώσει αντίκτυπο έξω από αυτό που αναφέρεται παρακάτω, παρακαλούμε επικοινωνήστε με την Υποστήριξη Google Cloud χρησιμοποιώντας [**https\://cloud.google.com/ support*] (https://cloud.google.com/ support). Ημερομηνία/ώρα του τεύχους Έναρξη: 19 Οκτ 2026 23:00 US/Pacific / 20 Οκτ 2026 07:00 BST Λήξη: 20 Οκτ 2026 05:10 US/Pacific / 20 Οκτ 2026 13:10 BST Διάρκεια: 6 ώρες, 10 λεπτά Περίληψη Τη Δευτέρα, 19 Οκτωβρίου 2026 (Τρίτη, 20 Οκτωβρίου BST), πολλαπλές υπηρεσίες Google Cloud Platform στην περιοχή europe-west2, παρουσίασαν διαταραχές των υπηρεσιών, αυξημένα ποσοστά σφαλμάτων, χρονικές διακοπές Προγραμματισμού Εφαρμογών (API) και καθυστέρηση επεξεργασίας για διάρκεια 6 ωρών και 10 λεπτών. Η διακοπή προκλήθηκε από διακοπή της ηλεκτρικής ενέργειας στην εγκατάσταση datacenter που φιλοξενεί τη ζώνη διαθεσιμότητας europe-west2-b, η οποία πήρε προσωρινά φυσικούς εξυπηρετητές, υλικό δρομολόγησης δικτύου και συστήματα αποθήκευσης εκτός σύνδεσης. Αυτό στη συνέχεια προκάλεσε δευτερογενή αποτυχία και αναμονή των καθυστερήσεων σε μη επιρρεπείς περιφερειακές υποδομές. Προκαταρκτική αιτία . . . . Το περιστατικό πυροδοτήθηκε όταν συνέβη διακοπή του δικτύου ηλεκτρικής ενέργειας στη μονάδα datacenter που φιλοξενεί τη ζώνη διαθεσιμότητας europe-west2-b. Για να διατηρηθεί η συνεχής ισχύς κατά τη διάρκεια της διακοπής, ενεργοποιήθηκε αμέσως η αυτόματη μεταφορά σε εφεδρικά συστήματα ισχύος εγκατάστασης. Το φορτίο εγκατάστασης μεταφέρθηκε στις τράπεζες μπαταριών του Uninterruptible Power Supply (UPS) κατά τη διάρκεια της σειράς εκκίνησης των επιτόπιων γεννητριών ντίζελ έκτακτης ανάγκης. Το σύστημα αυτοματισμού προγραμματιζόμενου λογικού ελεγκτή (PLC) (τόσο τα πρωτογενή όσο και τα εφεδρικά PLC) δεν κατάφερε να ξεκινήσει τις λογικές λειτουργίες αυτόματης εκκίνησης/μεταφοράς των γεννητριών, εμποδίζοντας τις εφεδρικές γεννήτριες να αναλάβουν το φορτίο. Όταν τα αποθέματα της μπαταρίας UPS εξαντλήθηκαν, οι φυσικοί εξυπηρετητές-ξενιστές, το ύφασμα που αλλάζει το δίκτυο, και οι τοπικές συστοιχίες αποθήκευσης αφιερωμένες στην europe-west2-b έχασαν ισχύ και βγήκαν εκτός σύνδεσης. Η σειρά των γεγονότων που οδήγησαν στην επίδραση του πελάτη ήταν η εξής: * Στις 22:53 US/Pacific (20 Οκτ, 06:53 BST), μια διακοπή της ηλεκτρικής ενέργειας συνέβη στη μονάδα datacenter που φιλοξενεί τη ζώνη διαθεσιμότητας europe-west2-b, και ένα σφάλμα εκκίνησης PLC (Programmable Logic Controller) εμπόδισε γεννήτριες έκτακτης ανάγκης εγκατάστασης από την ανάληψη του ηλεκτρικού φορτίου. Το φορτίο εγκατάστασης συνέχισε να υποστηρίζεται από τράπεζες μπαταριών UPS μέχρι να εξαντληθούν οι μπαταρίες, ξεκινώντας από τις 23:00 US/Pacific (20 Οκτ, 07:00 BST). * Όταν οι φυσικοί εξυπηρετητές υποδοχής, η τοπική υποδομή αποθήκευσης, και το υλικό συσσώρευσης δικτύων σε europe-west2-b έχασε την ισχύ, προκάλεσε περιπτώσεις, αντίγραφα βάσεων δεδομένων, και κόμβους εργαζομένων σε αυτή τη ζώνη να γίνει αμέσως μη προσβάσιμο. * Περιφερειακοί μηχανισμοί κίνησης και εφαρμογές πελατών ξεκίνησαν αυτοματοποιημένη αποτυχία προς τη διαθέσιμη υποδομή σε γειτονικές ζώνες διαθεσιμότητας εντός της περιοχής. * Διαζωνική απομακρυσμένη διαδικασία κλήσεις από περιφερειακά αεροπλάνα ελέγχου υπηρεσιών που κατευθύνονται σε μεταδεδομένα και συστατικά καταλόγου στη ζώνη εκτός σύνδεσης συνάντησε χρονόμετρα, προκαλώντας αρχικές θέσεις εργασίας και αιχμές λανθάνουσας ισχύος API. * Η ξαφνική εισροή των επαναπροσανατολισμένων εκτελέσεων ερωτημάτων, των αποτυχιών της βάσης δεδομένων υψηλής διαθεσιμότητας και του υπολογισμού των φορτίων εργασίας κορεσμένων διαθέσιμων υπολογιστικών αυλακώσεων και της ικανότητας επεξεργασίας σε άλλες ζώνες διαθεσιμότητας, δημιουργώντας αυξημένες ουρές εισόδου, καθυστερημένες αποτυχίες βάσης δεδομένων, και διαλείποντα 500 και 503 λάθη API σε όλη την περιοχή. Οι μηχανικοί της Google έχουν ξεκινήσει μια πλήρη ανάλυση της βασικής αιτίας (RCA) και θα παρέχουν πρόσθετες πληροφορίες μόλις είναι διαθέσιμη. . . . Αποκατάσταση Οι μηχανικοί της Google ενημερώθηκαν για τη διαταραχή μέσω αυτοματοποιημένων συστημάτων παρακολούθησης και προγνώσεων στις 23:08 US/Pacific στις 19 Οκτ (20 Οκτ, 07:08 BST), η οποία εντόπισε αυξημένες αναλογίες σφαλμάτων API, χρονισμούς υποβολής θέσεων εργασίας, και απώλεια δυνατότητας πρόσβασης σε υποδομές στο europe-west2-b. Οι ομάδες μηχανικών κινητοποιήθηκαν αμέσως για να απομονώσουν την πληγείσα υποδομή και να ξεκινήσουν την ανάκτηση: * ** Ραφική απομόνωση: ** Οι μηχανικοί της Google απομόνωσαν την εκτός σύνδεσης ζώνη διαθεσιμότητας (europe-west2-b) προσαρμόζοντας την περιφερειακή υπηρεσία routing μακριά από την πληγείσα υποδομή, εμποδίζοντας τα αιτήματα πελατών διαζωνικής ζώνης από το συγχρονισμό έναντι των εκτός σύνδεσης τελικών σημείων. * **Εργασιακός φόρτος Αποτίμηση και Διαφύλαξη Πόρων: ** Οι μηχανικοί προσάρμοσαν τις κατανομές προγραμματιστών και τα όρια χωρητικότητας σε μη επιρρεπείς υποδομές για να ιεραρχήσουν τις ενεργές κρατήσεις πελατών, να μειώσουν τον ισχυρισμό των πόρων για τις υποδοχές εκτέλεσης και να ανακουφίσουν τις καθυστερήσεις ουράς για τον περιφερειακό φόρτο εργασίας. **Power Grid Αποκατάσταση: ** Οι επί τόπου μηχανικοί εγκαταστάσεων πραγματοποίησαν χαριτωμένη αποκατάσταση μιας σταθερής τροφοδοσίας ηλεκτρικής ενέργειας από τη στιγμή που η παροχή βοηθητικής ενέργειας ήταν πίσω, μέσα σε 1 ώρα. Μετά από αυτό, επικέντρωσαν και ολοκλήρωσαν μια επαναφορά και δοκίμασαν τους ελεγκτές αυτοματοποίησης γεννήτριας έκτακτης ανάγκης για την αποκατάσταση της ισχύος εγκατάστασης. * ** Προοδευτική Επανενεργοποίηση Υποδομής: ** Οι μηχανικοί της Google επανεκκίνησαν συστηματικά τις βασικές υποδομές και υπηρεσίες του Google Cloud. * **Ελεγχόμενη κυκλοφορία επανεισδοχή: ** Μετά την επαλήθευση της ακεραιότητας της υγείας και της αποθήκευσης του συστήματος, οι μηχανικοί εκτέλεσαν σταδιακά, ελεγχόμενη μεταφορά της κυκλοφορίας πίσω στη ζώνη europe-west2-b επιτρέποντας την ομαλή εκκαθάριση των συσσωρευμένων backlogs θέσεων εργασίας. Μέχρι τις 05:10 ΗΠΑ/Ειρηνικού την Τρίτη, 20 Οκτ (13:10 BST), η διαθεσιμότητα υπηρεσιών είχε ανακτηθεί για τη συντριπτική πλειοψηφία του φόρτου εργασίας των πελατών, και η ανάλυση για τους περισσότερους από τους πελάτες σε υπηρεσίες Google Cloud Platform στην περιοχή επιβεβαιώθηκε. Μετά την ανάκτηση μιας μικρής ουράς των απομεινάντων απομονωμένων φόρτου εργασίας, η κοινοποίηση κλεισίματος για το περιστατικό δημοσιεύτηκε από 07:03 ΗΠΑ/Ειρηνικού (15:03 BST). . . . Περιγραφή του αντίκτυπου Μεταξύ Δευτέρα, 19 Οκτ 2026, 23:00 US/Pacific (Τρίτη, 20 Οκτ 2026, 07:00 BST) και Τρίτη, 20 Οκτωβρίου 2026, 05:10 US/Pacific (13:10 BST), οι πελάτες που χρησιμοποιούν τις υπηρεσίες Google Cloud Platform στην περιοχή της Ευρώπης-δυτικής2 παρουσίασαν διαταραχές των υπηρεσιών σε δύο διαδοχικές φάσεις, διαρκώντας συνολική διάρκεια 6 ωρών, 10 λεπτών. Κατά την αρχική φάση από τις 23:00 έως τις 04:29 US/Pacific (07:00 έως 12:29 BST) (διάρκεια 5 ώρες, 29 λεπτά), οι πελάτες γνώρισαν αυξημένα ποσοστά σφάλματος, διαλείμματα API, και καθυστερήσεις επεξεργασίας μέχρι τις περισσότερες υπηρεσίες Google Cloud Platform ανακτήθηκαν. Μετά την αποκατάσταση της υπηρεσίας πλατφόρμας, μερικοί φόρτοι εργασίας των πελατών που τρέχουν σε περιπτώσεις Compute Engine βίωσε μια μεγαλύτερη ουρά ανάκτησης. Μέχρι 04:46 US/Pacific (12:46 BST) νέα δημιουργία Virtual Machine και από 05:10 US/Pacific (13:10 BST) πάνω από το 99% της Compute Engine Virtual Machines ήταν σε υγιή κατάσταση. Οι εναπομείναντες πελάτες που αντιμετώπιζαν προβλήματα Virtual Machine κατευθύνθηκαν να υποβάλουν ένα θέμα υποστήριξης πελατών σύμφωνα με την κανονική διαδικασία. Ενώ η φυσική διακοπή ρεύματος απομονώθηκε αυστηρά σε εγκαταστάσεις datacenter στο europe-west2-b, ορισμένοι πελάτες που εκτελούν φόρτο εργασίας σε μη επιρρεπείς ζώνες (europe-west2-a και europe-west2-c) ή σε περιφερειακές αρχιτεκτονικές γνώρισαν επίσης απροσδόκητες επιπτώσεις. Τα κύρια αίτια ήταν 1\1) στιγμιαίες αυξήσεις της ζήτησης σε μη αντικρουόμενη υπολογιστική ικανότητα και 2\1) συγχρονισμένες εξαρτήσεις από την επικύρωση σε επίπεδο ελέγχου σε επίπεδο ζώνης. Προσβεβλημένα προϊόντα περιλαμβάνονται: BigQuery, Looker, Google Compute Engine, Google Kubernetes Engine, Regional Persistent Disk, και Cloud SQL. Αυτές οι υπηρεσίες αντιμετώπισαν απροσδόκητη υποβάθμιση και αποτυχίες που καθοδηγήθηκαν από ξαφνική εξάντληση ικανότητας από την αύξηση της ζήτησης, και χρονόμετρα API αεροπλάνου ελέγχου που περιμένουν επικυρώσεις από την εκτός σύνδεσης ζώνη. Ο φόρτος εργασίας και οι πόροι που φιλοξενούνται εξ ολοκλήρου εντός της europe-west2-b κατέστησαν απρόσιτοι. Οι υπηρεσίες αποθήκευσης δεδομένων με δυνατότητα αποτυχίας, όπως το Cloud SQL, το AlloyDB, το Memorystore for Redis, και το Cloud Bigtable απέτυχαν σε κοντινές άθικτες ζώνες κατά τη διάρκεια της διακοπής του europe-west2-b. Οι πολυζωνικές και περιφερειακές υπηρεσίες που εκτείνονται σε ολόκληρη την περιοχή του ευρώ-δυτικού 2 παρουσίασαν αυξημένη καθυστέρηση, παροδικά σφάλματα API (όπως τα σφάλματα HTTP 500 και 503), και εισδοχή εργασιών που απαιτούσαν τη διακοπή της κυκλοφορίας, η οποία επικεντρώθηκε σε μη επιρρεπείς περιφερειακούς πόρους και διαζωνικές εκκλήσεις σε εκτός σύνδεσης στοιχεία. Οι εργασίες για την καταγραφή των αποθηκών στην περιοχή παρουσίασαν παροδικό ποσοστό σφάλματος κατά την αρχική περίοδο αποτυχίας, και οι ουρές για την εισαγωγή περιφερειακών ερωτημάτων κορυφώθηκαν προσωρινά πριν από την ταχεία επιδότηση της παραγωγικής ικανότητας. Οι ακόλουθες υπηρεσίες Google Cloud Platform γνώρισαν αντίκτυπο: * Κράμα DB για PostgreSQL * Apigee * Υπηρεσία μεταφοράς δεδομένων BigQuery * Σύννεφο Σύντηξη δεδομένων * Cloud Filestore * Cloud Firestore * Σύννεφο εξισορρόπηση φορτίου * Cloud Memorystore * Σύννεφο NAT \"Το Σύννεφο τρέχει\" * Σύννεφο Spanner * Cloud Workstations * Datastream * Διάλογος ροής CX * Μηχανή εφαρμογών Google * Google BigQuery * Google Cloud Bigtable * Google Cloud ροή δεδομένων * Google Cloud Dataproc * Google Cloud NetApp Τόμοι * Google Cloud Pub/Sub * Google Cloud SQL * Αποθήκευση Google Cloud (GCS) * Μηχανή υπολογισμού Google (GCE) * Μηχανή του Google Kubernetes (GKE) * Google SecOps (Διαχείριση πληροφοριών και γεγονότων ασφάλειας \[SIEM\] και Ενορχήστρωση, Αυτοματισμοί και Ανταπόκριση \[SOAR\]) * Looker (Google Cloud πυρήνα) * Δείτε στούντιο * Διαχειριζόμενη ροή αέρα (Google Cloud Συνθέτης) * Διευθύνουσα Υπηρεσία για Απάτσι Κάφκα * Memorystore για Memcached * Memorystore για Redis * Memorystore για συστάδα Redis * Memorystore για Valkey * Κέντρο Δικτύωσης Επίμονος δίσκος * Ιδιωτική σύνδεση υπηρεσιών * Ομιλία προς κείμενο * Εικονικό Ιδιωτικό Σύννεφο (VPC) * VMWare κινητήρα

9. 27 Οκτωβρίου 2026 στις 3:13 μ.μ. UTCresolved

   ## Incident Report ### **Summary** On Monday, 19 Oct 2026 (Tuesday, 20 Oct BST), a data center facility that hosts europe-west2-b, experienced an external electrical power disruption. This resulted in service unavailability for workloads located in this zone. As traffic was redirected to alternative cloud regions or unaffected zones within europe-west2 cloud region, these workloads experienced transient latency and elevated errors affecting services across europe-west2.  The primary impact was mitigated after 6 hours 8 minutes. ### **Root Cause** **Facility architecture and background:** The data center facility in the UK region hosts Cloud clusters serving the europe-west2-b zone, which form part of the multi-zonal europe-west2 Cloud region. The site relies on a 2N utility power architecture—meaning the facility has complete duplicate power paths for every critical load—backed by a central high-voltage generator bank managed by a dual-redundant Programmable Logic Controller (PLC). Primary utility power is supplied to the facility via two independent feeders (A and B), supplemented by a standby utility connection configured for manual campus-wide transfer during maintenance operations or emergency events. The two high-voltage primary feeders terminate at separate primary intake switchboards capable of closed-loop operation if either board is taken offline. Switching between the primary and standby utility providers utilizes open transitions and key interlocks to prevent parallel connections across sources. Static Uninterruptible Power Supply (UPS) battery systems provide 5 minutes of autonomous runtime. This bridge power ensures uninterrupted operation while the PLC detects utility undervoltage events, initiates diesel generator startup, synchronizes the generators, and transfers the site load. Prior to the utility disruption, the facility had been placed in a temporary single-feed (1N) bridged maintenance posture on the primary utility. Circuit breaker feeder B was physically opened and key-interlocked (Locked Out Tagged Out) to allow for corrective repairs following issues identified during a quarterly generator load test on 14 Oct 2026. Consequently, primary utility feed A was supporting the total critical load while repairs were conducted on the B feeder pathway. **Root Cause:** On Monday, 19 Oct 2026 at 22:53 US/Pacific (Tuesday, 20 Oct 06:53 BST), the primary utility provider experienced an outage on primary utility feed A, caused by an external underground cable fault on the utility network outside the data center facility.   When the primary utility feed A was lost, the facility’s generator plant failed to receive a signal to automatically start and take critical load due to a design voltage-sensing and misconfiguration in the PLCs. The facility's static UPS battery banks carried the critical load as designed until their battery reserves depleted resulting in a complete power loss across data halls. The investigation of the PLC configuration identified the root cause as a misconfiguration of the PLC logic that did not verify both an undervoltage condition and physical breaker position for both utility feeders. Instead, the PLC undervoltage sensing inputs were wired upstream (line side) of the isolated utility feed B breaker. The PLC was programmed to verify whether voltage was present on the feeder before commanding a generator start. As the utility feed B remained energized upstream, both PLCs sensed live upstream voltage on the disconnected path. As a result, the PLC logic indicated that a healthy utility source was available, even though the primary and secondary distribution feeds were de-energized, and did not issue a start command to the generator plant.; The onsite facilities team attempted to execute a remote load transfer via the PLC; however, the system inhibited the action. Recognizing that the UPS battery reserves would be exhausted before further remote operations could be resolved, the team transferred the facility load to the standby utility source, restoring the critical load that was lost once batteries depleted during this process. Once utility power was restored via the standby utility source, and UPS batteries started recharging, the onsite facility teams and OEM vendors reconfigured and validated PLC functionality on both undervoltage and breaker status. After the power loss was initially detected, Google engineers began work to mitigate failover failures and prepare service recovery. Upon restoration of the utility source, UPS and generator capabilities, they began the process to re-enable services in europe-west2-b. ### Remediation and Prevention The sequence of events leading to customer impact was as follows: * **19 Oct 22:53 US/Pacific (20 Oct BST 06:53 BST) -** An electrical power disruption occurred at the data center facility hosting availability zone europe-west2-b, and a PLC (Programmable Logic Controller) startup fault prevented facility emergency generators from assuming the electrical load. Facility load continued to be supported by UPS battery banks until the batteries were depleted. * **19 Oct 23:00 US/Pacific (20 Oct 07:00 BST)** **Impact start -** As battery backups were exhausted, physical host servers, local storage infrastructure, and network aggregation hardware in availability zone europe-west2-b lost power, causing instances, database replicas, and worker nodes in that zone to become immediately unreachable. * **19 Oct 23:04 US/Pacific (20 Oct 07:04 BST) -** Google engineers were alerted to the disruption via automated monitoring systems and probers, which detected elevated API error ratios, job submission timeouts, and loss of infrastructure reachability in zone europe-west2-b. Engineering teams immediately mobilized to isolate the affected infrastructure and commence recovery. * **19 Oct 23:09 US/Pacific (20 Oct 07:09 BST) -** Regional traffic-routing mechanisms and client applications initiated automated failover toward available infrastructure in adjacent availability zones within the region. * Cross-zone remote procedure calls from regional service control planes directed to metadata and catalog components in the offline zone encountered timeouts, causing initial job submission stalls and API latency spikes. * The sudden influx of redirected query executions, high-availability database failovers, and compute workloads saturated available compute slots and processing capacity in other availability zones, creating elevated admission queues, delayed database failover completions, and intermittent 500 and 503 API errors across the region. * **Traffic Isolation:** Google engineers isolated the offline availability zone (europe-west2-b) by adjusting regional service routing away from the affected infrastructure, preventing cross-zone client requests from timing out against offline endpoints. * **Workload Reprioritization and Resource Safeguards:** Engineers adjusted scheduler allocations and capacity limits across unimpacted infrastructure to prioritize active customer reservations, reduce resource contention on execution slots, and relieve queue backlogs for regional workloads. * **19 Oct 23:54 US/Pacific (20 Oct 07:54 BST) Utility Power Restoration** **\-** Power supply from the standby utility source was restored and power restoration to the data hall began. * **20 Oct 00:20 US/Pacific (08:20 BST) Datahall Power Restoration** **\-** Utility power was re-established to the datahalls. Mains utility power normalized; power feed to data hall verified. Following this, the site operations and engineering teams focused on and completed a reset and tested the emergency backup generator automation controllers to restore facility power. * **20 Oct 00:40 US/Pacific (08:40 BST)** **\-** Clusters began to recover, cluster manager systems started rescheduling compute jobs.  * **20 Oct 00:45 US/Pacific (08:45 BST) \-** Network devices were back online.  * **20 Oct 00:50 US/Pacific (08:50 BST) \-** Due to the immediacy of power loss, storage devices with unclean shutdowns began recovery. Responders recognized this and chose not to restore services that would otherwise make this worse. Because of the large volume of storage devices involved, this process required a substantial period to finish prior to restoring service to customers. * **20 Oct 03:13 US/Pacific (11:06 BST)** **\-** Power redundancy was verified and the storage infrastructure was sufficiently restored to prepare the initiation of controlled traffic re-admission. The remaining storage systems continued recovery operations. * **20 Oct 03:45 US/Pacific (11:45 BST) Controlled Traffic Re-admission** **\-** Once system health and storage integrity were verified, engineers executed gradual, controlled traffic re-admission back to zone europe-west2-b allowing accumulated job backlogs to clear smoothly. * **20 Oct 04:11 US/Pacific (12:11 BST)** **\-** Google Cloud Platform services and APIs were made fully available to customers. Some Google Compute Engine virtual machines were still not yet available. * **20 Oct 04:29 US/Pacific (12:29 BST) \-** Regional services and backend compute management systems were fully undrained, marking the end of core platform-level disruption. * **20 Oct 05:08 US/Pacific (13:08 BST) Majority Workload Recovery** **\-** GCE virtual machines were 99.5% operational and healthy, and creating new VMs was fully supported. Service availability was restored for most customer workloads, with resolution confirmed for the majority of users across Google Cloud Platform services in the region. Following the recovery of a small tail of remaining isolated workloads, the closure notification for the incident was posted by 07:03 US/Pacific (15:03 BST). Google is committed to preventing a repeat of this issue in the future and is completing the following actions: **Data Center Action Items:** * Restoration of normal utility configuration (both A & B feeds) * Utility provider to locate the damaged cable fault, using low-frequency radar penetration testing procedures. **\[Completed 26 Oct\]** * Utility provider to send on-site engineers to repair the cable fault and restore the impacted primary utility feed A source. **\[Estimated Completion Date 30 Oct\]** * Onsite Operations teams with a controlled method of procedure (MOP) to transfer the facility to its primary utility source (feeds A and B) from standby utility feed through coordinated switching with the utility provider **\[Estimated Completion Date 31 Oct\]** * Generator confidence testing * Full generator load transfer tests with utility power cutover of the active utility feed. Test automatic startup of generators through PLC signals within the backup battery timer and detailed review of backup procedures **\[Completed on 20 Oct and 26 Oct (full critical load transfer test including updated EOPs)\]** * Full generator load transfer tests in coordination with the primary utility source feeds (A and B) after restoration work completed by the primary utility provider. **\[Estimated Completion Date 31 Oct\]** * PLC configuration fix  * Reconfigured and validated the PLC after the outage on 20 Oct and then again on 26 Oct **\[Completed 26 Oct\]** * Google engineers to work in collaboration with the facility vendor teams to perform a comprehensive PLC code review and system resiliency to multiple failure scenarios. **\[Estimated Completion Date (prior to generator transfer test) estimated 31 Oct\]** * Validate PLC telemetry once primary utility feed A and B lineup is restored. **\[Estimated Completion Date 31 Oct\]** * Validate global PLC configurations at all global sites with similar topologies and PLC manufacturers, to ensure confidence in automatic generator starts. **\[Estimated Completion Date 15 Nov\]** * Emergency Operating Procedures (EOP) documentation update: * Comprehensive update to the EOP for site’s response to unexpected loss of active utility source. Update includes \- manual steps to attempt to restore active utility feed, manual restart of generators and manual transfer to other utility sources within the UPS battery run time. **\[Completed 26 Oct\]** * Ensure updated EOP is practiced twice per shift by on-site facility team. **\[Completed 24 Oct and checked with Google DC Operations daily\]** * Strengthen change management:  * Freeze planned maintenance activities at other sites with similar topologies, and implement elevated approvals and reviews for data center configuration changes which are outside their standard designs. **\[Estimated Completion Date 30 Oct\]** **Cloud Service Action Items:** * **Communications Enhancement:** Bolster notification speed by developing an automated alert-to-communication mechanism for location-impacting incidents. * **Platform Testing:** Expand platform-wide testing outcomes for infrastructure-level events. ### **Detailed Description of Impact** Between Monday, 19 Oct 2026, 23:00 US/Pacific (Tuesday, 20 Oct 2026, 07:00 BST) and Tuesday, 20 Oct 2026, 05:08 US/Pacific (13:08 BST), customers utilizing Google Cloud Platform services in the europe-west2 region experienced service disruptions across two consecutive phases, lasting a total duration of 6 hours, 08 minutes. During the initial phase from 23:00 to 04:29 US/Pacific (07:00 to 12:29 BST) (duration 5 hours, 29 minutes), customers experienced unavailability of zone-scoped resources in products, including: * **Compute Engine** \- VM instances, zonal MIGs, unmanaged instance groups, zonal NEGs, sole-tenant node groups, zonal reservations, target instances, zonal API operations.  * **Persistent Disk / Hyperdisk** \- Zonal PD, zonal Hyperdisk, Hyperdisk storage pools, instant snapshots. * **GKE \-** Zonal clusters (control plane), node pool nodes in \-b, PVs on zonal disks. * **Cloud SQL \-** Non-HA instances, read replicas in \-b. * **AlloyDB \-** Basic (non-HA) primaries in \-b. * **Bigtable \-** Single-cluster instances in \-b. * **Other products with affected zonal resources:** Cloud Batch, Cloud Build, Cloud Storage, Cloud Workstations, Composer, Dataproc, Filestore, Managed Lustre, Migrate to VMs, NetApp Volumes, Pub/Sub Lite, Vertex AI Workbench, VMware Engine. The unavailability of those resources scoped to a zone that undergoes disruption is working within the design of a zonally-scoped system. Requests made to these resulted either in a timeout or error code during the disruption. Any workloads and resources hosted entirely within europe-west2-b became unreachable due to this event. Google Compute Engine's zonal resources such as VMs require customers to provision failover or cross-zone recovery resources if needed, and to set up a recovery mechanism that matches their needs. Some failovers were unsuccessful due to capacity constraints and difficulty in replicating the underlying storage mechanism.  Following platform service restoration, some customer workloads running on Compute Engine instances as well as products that rely on Compute Engine experienced a longer recovery. By 04:46 US/Pacific (12:46 BST) new Virtual Machine creation resumed and by 05:08 US/Pacific (13:08 BST) over 99% of Compute Engine Virtual Machines were in a healthy state. Any remaining customers that were experiencing Virtual Machine problems were directed to file a customer support case as per normal procedure. While the physical power outage was isolated strictly to data center facilities in zone europe-west2-b, some customers running workloads in unimpacted zones (europe-west2-a and europe-west2-c) or across regional architectures also experienced unexpected impact. The primary causes of impact outside of zone europe-west2-b were: 1\) Instantaneous demand surges on neighboring zones (a and c) and 2\) Control-plane dependencies across zonal boundaries Affected products included: AlloyDB, Apigee Infra and Apigee Edge, BigQuery, Cloud Dataflow, Cloud Pub/Sub, Cloud SQL, Google Compute Engine, Google Kubernetes Engine, Looker, Regional Persistent Disk, Vertex AI Prediction, and Cloud Speech-to-Text. These services experienced unexpected degradation and failover issues driven by sudden compute capacity exhaustion from surging demand, and control-plane API timeouts. Customers would have experienced the inability to create, update, or delete some regional resources during this period. This was not a full regional control-plane outage, but certainly a degraded state. Multi-zonal and regional services that spanned across the europe-west2 region experienced elevated latency, transient API errors (such as HTTP 500 and 503 errors), and task admission queuing as failover traffic concentrated onto unimpacted regional resources and cross-zone calls to offline components timed out.  Storage write operations in the region experienced a transient error rate during the initial failover period, and regional query admission queues temporarily peaked before rapidly subsiding as capacity re-balanced. We did not identify any impact of the outage outside of the europe-west2 region. The following Google Cloud Platform services experienced impact within europe-west2: * AlloyDB for PostgreSQL * Apigee * BigQuery Data Transfer Service * Cloud Data Fusion * Cloud Filestore * Cloud Firestore * Cloud Load Balancing * Cloud Memorystore * Cloud NAT * Cloud Run * Cloud Spanner * Cloud Workstations * Datastream * Dialogflow CX * Google App Engine * Google BigQuery * Google Cloud Bigtable * Google Cloud Dataflow * Google Cloud Dataproc * Google Cloud NetApp Volumes * Google Cloud Pub/Sub * Google Cloud SQL * Google Cloud Storage (GCS) * Google Compute Engine (GCE) * Google Kubernetes Engine (GKE) * Google SecOps (Security Information and Event Management \[SIEM\] and Security Orchestration, Automation, and Response \[SOAR\]) * Looker (Google Cloud core) * Looker Studio * Managed Airflow (Google Cloud Composer) * Managed Service for Apache Kafka * Memorystore for Memcached * Memorystore for Redis * Memorystore for Redis Cluster * Memorystore for Valkey * Network Connectivity Center * Persistent Disk * Private Service Connect * Speech-to-Text * Virtual Private Cloud (VPC) * VMWare engine ----------

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 8 Οκτωβρίου 2026 στις 6:24 μ.μ. UTCresolved

   **Περίληψη ** Google Cloud Οι πελάτες αποθήκευσης βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής **Περιγραφή ** Βιώνουμε ένα θέμα με το Google Cloud Storage ξεκινώντας την Πέμπτη, 2026-10-08 05:19 PDT. Η ομάδα μας συνεχίζει να ερευνά το θέμα. Θα παρέχουμε μια ενημέρωση μέχρι την Πέμπτη, 2026-10-08 11:50 PDT με τρέχουσες λεπτομέρειες. ** Συμπτώματα πελατών ** * Οι πελάτες βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής. * Ένα μικρότερο υποσύνολο των πράξεων ανάγνωσης μπορεί επίσης να βιώσουν αυξημένη λανθάνουσα και σφάλματα ** Εργασία ** Καμία αυτή τη στιγμή.

2. 8 Οκτωβρίου 2026 στις 6:34 μ.μ. UTCresolved

   **Περίληψη ** Google Cloud Οι πελάτες αποθήκευσης βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής **Περιγραφή ** Βιώνουμε ένα θέμα με το Google Cloud Storage ξεκινώντας την Πέμπτη, 2026-10-08 05:19 PDT. Αρχικοί μετριασμοί που εφαρμόζονται από την ομάδα μηχανικών μας που οδηγούν σε παρατηρήσιμες βελτιώσεις στα ποσοστά σφάλματος στην εσωτερική μας παρακολούθηση. Οι εργασίες παραμένουν σε εξέλιξη για περαιτέρω μετριασμούς. Θα σας παρέχουμε ενημέρωση μέχρι την Πέμπτη, 2026-10-08 12:00 PDT με τρέχουσες λεπτομέρειες. ** Συμπτώματα πελατών ** * Οι πελάτες βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής. * Ένα μικρότερο υποσύνολο των πράξεων ανάγνωσης μπορεί επίσης να βιώσουν αυξημένη λανθάνουσα και σφάλματα ** Εργασία ** Καμία αυτή τη στιγμή.

3. 8 Οκτωβρίου 2026 στις 6:55 μ.μ. UTCresolved

   **Περίληψη ** Google Cloud Οι πελάτες αποθήκευσης βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής **Περιγραφή ** Βιώνουμε ένα θέμα με το Google Cloud Storage ξεκινώντας την Πέμπτη, 2026-10-08 05:19 PDT. Αρχικοί μετριασμοί που εφαρμόζονται από την ομάδα μηχανικών μας που οδηγούν σε παρατηρήσιμες βελτιώσεις στα ποσοστά σφάλματος στην εσωτερική μας παρακολούθηση αρχής 10:57 PDT. Οι εργασίες παραμένουν σε εξέλιξη για περαιτέρω μετριασμούς. Θα παρέχουμε μια ενημέρωση μέχρι την Πέμπτη, 2026-10-08 12:45 PDT με τρέχουσες λεπτομέρειες. ** Συμπτώματα πελατών ** * Οι πελάτες βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής. * Ένα μικρότερο υποσύνολο των πράξεων ανάγνωσης μπορεί επίσης να βιώσουν αυξημένη λανθάνουσα και σφάλματα ** Εργασία ** Καμία αυτή τη στιγμή.

4. 8 Οκτωβρίου 2026 στις 7:38 μ.μ. UTCresolved

   **Περίληψη ** Google Cloud Οι πελάτες αποθήκευσης βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής **Περιγραφή ** Συνεχίζουμε να μετριάζουμε το θέμα με το Google Cloud Storage στην περιοχή us-central1 που ξεκίνησε την Πέμπτη, 2026-10-08 05:19 PDT. Οι αρχικές μετριασμοί που εφαρμόζονται από την ομάδα μηχανικών μας συνεχίζουν να δείχνουν παρατηρήσιμες βελτιώσεις στα ποσοστά σφάλματος. Η ομάδα μηχανικών μας παρακολουθεί ενεργά το περιβάλλον και προχωράει περαιτέρω μετριασμούς για να σταθεροποιήσει πλήρως την υπηρεσία. Θα παρέχουμε ενημέρωση μέχρι την Πέμπτη, 2026-10-08 14:00 PDT με τις τρέχουσες λεπτομέρειες. ** Συμπτώματα πελατών ** * Οι πελάτες βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής. * Ένα μικρότερο υποσύνολο των πράξεων ανάγνωσης μπορεί επίσης να βιώσουν αυξημένη λανθάνουσα και σφάλματα ** Εργασία ** Καμία αυτή τη στιγμή.

5. 8 Οκτωβρίου 2026 στις 8:48 μ.μ. UTCresolved

   **Περίληψη ** Google Cloud Οι πελάτες αποθήκευσης βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής **Περιγραφή ** Συνεχίζουμε να μετριάζουμε το θέμα με το Google Cloud Storage στην περιοχή us-central1 που ξεκίνησε την Πέμπτη, 2026-10-08 05:19 PDT. Οι αρχικές μετριασμοί που εφαρμόζονται από την ομάδα μηχανικών μας συνεχίζουν να δείχνουν παρατηρήσιμες βελτιώσεις στα ποσοστά σφάλματος. Η ομάδα μηχανικών μας παρακολουθεί ενεργά το περιβάλλον και προχωράει περαιτέρω μετριασμούς για να σταθεροποιήσει πλήρως την υπηρεσία. Θα παρέχουμε ενημέρωση μέχρι την Πέμπτη, 2026-10-08 16:00 PDT με τρέχουσες λεπτομέρειες. ** Συμπτώματα πελατών ** * Οι πελάτες βιώνουν αυξημένα κενά και ποσοστά σφαλμάτων κατά την εκτέλεση εργασιών αποστολής ή εγγραφής. * Ένα μικρότερο υποσύνολο των πράξεων ανάγνωσης μπορεί επίσης να βιώσουν αυξημένη λανθάνουσα και σφάλματα ** Εργασία ** Καμία αυτή τη στιγμή.

6. 9 Οκτωβρίου 2026 στις 4:44 μ.μ. UTCresolved

   Προκαταρκτική αναφορά περιστατικού . . . . . Ζητάμε ειλικρινά συγγνώμη για την αναστάτωση που προκάλεσε αυτό το περιστατικό στην επιχείρησή σας. Γνωρίζουμε πόσο πολύ βασίζεστε στο Google Cloud, και λυπούμαστε για τον αντίκτυπο στην παραγωγικότητά σας. Προσπαθούμε να αντιμετωπίσουμε τη βασική αιτία και να αποτρέψουμε αυτό να συμβεί στο μέλλον. Παρακαλείστε να σημειώσετε ότι αυτές οι πληροφορίες βασίζονται στις καλύτερες γνώσεις μας κατά τη στιγμή της δημοσίευσης και υπόκεινται σε αλλαγές καθώς η έρευνά μας συνεχίζεται. Μια τελική αναφορά περιστατικών με προληπτικές ενέργειες θα δημοσιευθεί μόλις ολοκληρωθεί η έρευνά μας. Εάν έχετε βιώσει αντίκτυπο εκτός αυτού που αναφέρεται παρακάτω, παρακαλούμε επικοινωνήστε με την Υποστήριξη Google Cloud χρησιμοποιώντας [https\://cloud.google.com/ support] (https://cloud.google.com/ support) Ημερομηνία/ώρα του τεύχους (Όλη την ώρα ΗΠΑ/Ειρηνικού) Αρχή Περιστατικού: 08 Οκτωβρίου 2026 04:00 Τέλος περιστατικού: 08 Οκτωβρίου 2026 16:30 Διάρκεια: 12 ώρες, 30 λεπτά Περίληψη Την Πέμπτη 08 Οκτωβρίου 2026, το Google Cloud Storage γνώρισε αυξημένη λανθάνουσα γραφική λανθάνουσα ικανότητα και γράψε ποσοστά σφάλματος στην περιοχή us-central1 για διάρκεια 12 ωρών, 30 λεπτών. Κάνουμε άμεσα βήματα για να διασφαλίσουμε ότι αυτό δεν θα ξανασυμβεί. Προκαταρκτική αιτία . . . . Το Google Cloud Storage βασίζεται σε μια εξαιρετικά κατανεμημένη αρχιτεκτονική συστήματος υποστήριξης για την επεξεργασία και αποθήκευση εισερχόμενων δεδομένων. Κατά τη διάρκεια του παραθύρου του συμβάντος, συγκεκριμένοι κόμβοι υποστήριξης αποθήκευσης μέσα στην περιοχή us-central1 γνώρισαν ένα τοπικό έλλειμμα χωρητικότητας. Η σειρά των γεγονότων που οδήγησαν στην επίδραση του πελάτη ήταν η εξής: * Μια βελτιστοποίηση διαλογής κυκλοφορίας που προορίζεται για την αντιμετώπιση των τοπικών περιορισμών χωρητικότητας προκάλεσε σοβαρή εξάντληση πόρων σε συγκεκριμένους κόμβους αποθήκευσης συστήματος υποστήριξης στην πληγείσα περιοχή. * Αυτή η εξάντληση πόρων προκάλεσε υπηρεσίες συστήματος υποστήριξης που χειρίζονται την κατάποση δεδομένων αντικειμένων για να ξεκινήσει ο συγχρονισμός. * Ως αποτέλεσμα, εισερχόμενα upload και να γράψετε αιτήματα δρομολογήθηκε σε αυτούς τους κόμβους εμπειρία αυξημένη latency και απέτυχε να ολοκληρώσει, με αποτέλεσμα τα λάθη που εμφανίζονται στους πελάτες. * Ταυτόχρονα, ένα ξεχωριστό ζήτημα με την υποκείμενη υπηρεσία βάσεων δεδομένων συνέβαλε σε πρόσθετα λάθη επεξεργασίας μεταδεδομένων κατά τη διάρκεια ενός τμήματος του παραθύρου συμβάντος. Οι μηχανικοί της Google έχουν ξεκινήσει μια πλήρη ανάλυση της βασικής αιτίας (RCA) και θα παρέχουν πρόσθετες πληροφορίες μόλις είναι διαθέσιμη. . . . Αποκατάσταση Το θέμα εντοπίστηκε αρχικά από τις ομάδες μηχανικής της Google που παρακολουθούσαν ενεργά την τηλεμετρία του συστήματος νωρίς στο παράθυρο του συμβάντος. Για να μετριάσει το ζήτημα, οι μηχανικοί της Google εκτέλεσαν την ακόλουθη στρατηγική βήμα προς βήμα: * Οι μηχανικοί αρχικά επιχείρησαν να κατανείμουν δυναμικά πρόσθετη ικανότητα έκτακτης ανάγκης στην πληγείσα περιοχή, αλλά αυτό εμποδίστηκε από συστημικά περιφερειακά όρια χωρητικότητας. * Για να ανακουφίσουν την άμεση πίεση, οι μηχανικοί αποστραγγίζουν επιλεκτικά την κυκλοφορία από τους πιο υπερφορτωμένους κόμβους αποθήκευσης του συστήματος υποστήριξης. * Μια αλλαγή διαμόρφωσης αναπτύχθηκε για να απενεργοποιήσει τη βελτιστοποίηση ταξινόμησης της κυκλοφορίας, μειώνοντας σημαντικά τους πόρους γενικά στο σύστημα υποστήριξης αποθήκευσης. * Για την ταυτόχρονη έκδοση μεταδεδομένων, οι μηχανικοί επανέλαβαν μια πρόσφατη ενημέρωση στην υποκείμενη υπηρεσία δεδομένων μεταδεδομένων. Μόλις σταθεροποιήθηκαν τα επίπεδα κυκλοφορίας και η αξιοποίηση των πόρων επανήλθε στα κανονικά επίπεδα βάσης, οι προηγουμένως αποστραγγισμένοι κόμβοι αποκαταστάθηκαν στην ενεργό υπηρεσία, αποκαθιστώντας επιτυχώς τις κανονικές λειτουργίες. . . . Περιγραφή του αντίκτυπου Στις 08 Οκτωβρίου, 2026, από τις 04:00 έως τις 16:30 US/Pacific, οι πελάτες που χρησιμοποιούν την περιοχή us-central1 παρουσίασαν αυξημένη λανθάνουσα συχνότητα και τα ποσοστά σφαλμάτων κατά τη διάρκεια του Cloud Storage upload and write operations. * Οι πελάτες παρατήρησαν κυρίως HTTP 503 ΜΗ ΔΙΑΘΕΣΙΜΑ σφάλματα στις λειτουργίες WriteObject και τα χρονικά περιθώρια του πελάτη. * Μια μικρή επίπτωση παρατηρήθηκε επίσης σε διαβασμένες λειτουργίες κατά τη διάρκεια αυτού του χρονικού πλαισίου. * Οι λειτουργίες αποθήκευσης Cloud σε όλες τις άλλες περιοχές, καθώς και όλες τις άλλες υπηρεσίες Google Cloud, παρέμειναν ανεπηρέαστες από το συγκεκριμένο γεγονός.

7. 14 Οκτωβρίου 2026 στις 7:15 π.μ. UTCresolved

   Έκθεση περιστατικών . . . . . . . Ημερομηνία/ώρα του τεύχους (Όλη την ώρα ΗΠΑ/Ειρηνικού) **Πρώτο συμβάν ** Αρχή Περιστατικού: 08 Οκτωβρίου 2026 04:00 Τέλος περιστατικού: 08 Οκτωβρίου 2026 16:30 Διάρκεια: 12 ώρες, 30 λεπτά ** Επανάληψη συστατικού ** Έναρξη επανάληψης: 09 Οκτωβρίου 2026 04:05 Τέλος επανάληψης: 09 Οκτωβρίου 2026 09:46 Διάρκεια: 5 ώρες, 41 λεπτά **Συνολική διάρκεια: ** 18 ώρες, 11 λεπτά Περίληψη Την Πέμπτη 08 Οκτωβρίου 2026, το Google Cloud Storage γνώρισε αυξημένη λανθάνουσα γραφική λανθάνουσα λανθάνουσα γραφική παράσταση και ποσοστά σφαλμάτων κατά την εκτέλεση upload ή γράψτε λειτουργίες στην περιοχή us-central1 για διάρκεια 12 ωρών, 30 λεπτών. Ακολούθησε επανάληψη την Παρασκευή 09 Οκτωβρίου 2026 στη ζώνη us-central1-b για διάρκεια 5 ωρών, 41 λεπτών. Κάνουμε άμεσα βήματα για να διασφαλίσουμε ότι αυτό δεν θα ξανασυμβεί. Αιτία ρίζας Το Google Cloud Storage βασίζεται σε μια εξαιρετικά κατανεμημένη αρχιτεκτονική συστήματος υποστήριξης για την επεξεργασία και αποθήκευση εισερχόμενων δεδομένων. Κατά τη διάρκεια του παραθύρου συμβάντος, συγκεκριμένοι κόμβοι υποστήριξης αποθήκευσης εντός της περιοχής us-central1 γνώρισαν μια εντοπισμένη έλλειψη χωρητικότητας λόγω της αυξημένης κυκλοφορίας. Η σειρά των γεγονότων που οδήγησαν στην επίδραση του πελάτη ήταν η εξής: * Μια αναβάθμιση της διαμόρφωσης της βελτιστοποίησης της ταξινόμησης της κυκλοφορίας στο επίπεδο εξισορρόπησης φορτίου αποθήκευσης του Google Cloud που προορίζεται για την αντιμετώπιση των τοπικών περιορισμών χωρητικότητας προκάλεσε σοβαρή εξάντληση πόρων σε συγκεκριμένους κόμβους υποστήριξης αποθήκευσης στην πληγείσα περιοχή, παρακάμπτοντας ακούσια την τυπική λογική δρομολόγησης δυναμικότητας-αναγνώρισης, με αποτέλεσμα μια σοβαρή ανισορροπία φορτίου. * Κατά συνέπεια, ένα μικρό κλάσμα των κόμβων υποστήριξης αποθήκευσης στην περιοχή us-central1 έλαβε ένα συντριπτικό ποσοστό της εισερχόμενης κυκλοφορίας εγγραφής παρά το γεγονός ότι έχουν χαμηλή διαθέσιμη ικανότητα εξυπηρέτησης. Αυτή η συγκέντρωση της κυκλοφορίας οδήγησε σε εξάντληση πόρων στους εξυπηρετητές του συστήματος υποστήριξης που επηρεάστηκαν προκαλώντας υπηρεσίες υποστήριξης που χειρίζονται την κατάποση δεδομένων αντικειμένων για να ξεκινήσει ο συγχρονισμός. * Επειδή οι υποκείμενες περιπτώσεις δεν θα μπορούσε να επεξεργαστεί τον υψηλό όγκο των αιτήσεων αρκετά γρήγορα, η εισερχόμενη αποστολή και να γράψει αιτήματα δρομολογήθηκε σε αυτούς τους κόμβους γνώρισε αυξημένη λανθάνουσα τάση και απέτυχε να ολοκληρώσει, με αποτέλεσμα τα λάθη να αναδύονται στους πελάτες. * Ταυτόχρονα, ένα ξεχωριστό ζήτημα με την υποκείμενη υπηρεσία βάσεων δεδομένων συνέβαλε σε πρόσθετα λάθη επεξεργασίας μεταδεδομένων κατά τη διάρκεια ενός τμήματος του παραθύρου συμβάντος. * Η επανάληψη του θέματος στις 9 Οκτωβρίου προκλήθηκε από μια ατελή αναστροφή ενός upload designer χαρακτηριστικό, η οποία έσπασε το μηχανισμό εξισορρόπησης φορτίου και υπερφόρτωσε μερικά μικρότερα κόμβους υποστήριξης αποθήκευσης. Αποκατάσταση και Πρόληψη Το ζήτημα εντοπίστηκε αρχικά στις 08 Οκτωβρίου 2026 στις 04:50 από τις ομάδες μηχανικής της Google να παρακολουθούν ενεργά την τηλεμετρία του συστήματος νωρίς στο παράθυρο του συμβάντος. Για να μετριάσει το ζήτημα, οι μηχανικοί της Google εκτέλεσαν την ακόλουθη στρατηγική βήμα προς βήμα: * Οι μηχανικοί αρχικά επιχείρησαν να κατανείμουν δυναμικά πρόσθετη ικανότητα έκτακτης ανάγκης στην πληγείσα περιοχή, αλλά αυτό εμποδίστηκε από συστημικά περιφερειακά όρια χωρητικότητας. * Για να ανακουφίσουν την άμεση πίεση, οι μηχανικοί αποστραγγίζουν επιλεκτικά την κυκλοφορία από τους πιο υπερφορτωμένους κόμβους υποστήριξης αποθήκευσης. * Μια αλλαγή διαμόρφωσης αναπτύχθηκε για να απενεργοποιήσει τη βελτιστοποίηση ταξινόμησης της κυκλοφορίας, μειώνοντας σημαντικά τους πόρους γενικά στο σύστημα υποστήριξης αποθήκευσης. * Για την ταυτόχρονη έκδοση μεταδεδομένων, οι μηχανικοί επανέλαβαν μια πρόσφατη ενημέρωση στην υποκείμενη υπηρεσία δεδομένων μεταδεδομένων. * Ενώ αυτά τα βήματα παρείχαν προσωρινή ανακούφιση, μια επανάληψη της ανισορροπίας φορτίου απαιτούσε περαιτέρω επαναπροσανατολισμό της κυκλοφορίας και αποστράγγιση των επηρεαζόμενων συστατικών αποθήκευσης. Το περιστατικό επιλύθηκε μόνιμα όταν η μηχανική επανέφερε πλήρως την προβληματική αλλαγή διαμόρφωσης εξισορρόπησης φορτίου, αποκαθιστώντας την προηγούμενη συμπεριφορά δρομολόγησης δυναμικότητας και επιτρέποντας στην κυκλοφορία να διανέμεται ομοιόμορφα σε όλη την περιοχή. Μόλις σταθεροποιήθηκαν τα επίπεδα κυκλοφορίας και η αξιοποίηση των πόρων επανήλθε στα κανονικά επίπεδα βάσης, οι προηγουμένως αποστραγγισμένοι κόμβοι αποκαταστάθηκαν στην ενεργό υπηρεσία, αποκαθιστώντας επιτυχώς τις κανονικές λειτουργίες. ** Προληπτικές ενέργειες: ** Για να διασφαλίσουμε ότι αυτό το ζήτημα δεν θα επαναληφθεί, εφαρμόζουμε τις ακόλουθες βελτιώσεις: - ** Ασφαλείς rollout ρυθμίσεις: ** Ενημερώνουμε τα πρωτόκολλα ανάπτυξης μας για να διασφαλίσουμε ότι οι αλλαγές της λογικής εξισορρόπησης φορτίου θα επικυρωθούν αυστηρά σε εναλλακτικές, μικρότερες περιοχές πριν από τη μεταφορά τους σε μεγαλύτερες, ιδιαίτερα χρησιμοποιούμενες περιοχές. - ** Έξυπνοι επιχειρησιακοί έλεγχοι: ** Ενισχύουμε την αρχιτεκτονική εξισορρόπησης του φορτίου αποθήκευσης για την αυστηρή επιβολή περιορισμών χωρητικότητας, διασφαλίζοντας ότι η λογική της κατανομής της κυκλοφορίας δεν μπορεί να παρακάμψει τις προ-συγκεντρωτικές διασφαλίσεις και την κυκλοφορία των οδών σε συμπλέγματα που στερούνται επαρκών πόρων εξυπηρέτησης. - **Ανθεκτική κλιμάκωση Λογική: ** Εφαρμόζουμε στοχευμένες βελτιώσεις για την επιτάχυνση της εσωτερικής κίνησης δεδομένων μέσα σε εξαιρετικά χρησιμοποιημένες κυψέλες αποθήκευσης, επιτρέποντας στο σύστημα να επεξεργάζεται τα δεδομένα πιο αποτελεσματικά και να χειρίζεται προσωρινές αιχμές φορτίου με μεγαλύτερη ανθεκτικότητα. . . . Περιγραφή του αντίκτυπου Στις 08 Οκτωβρίου 2026, από τις 04:00 έως τις 16:30 σε μας-κεντρική1 περιοχή και 09 Οκτωβρίου 2026, από 04:05 έως 09:46 σε μας-κεντρική1-b ζώνη, οι πελάτες γνώρισαν αυξημένη λανθάνουσα και ποσοστά σφαλμάτων κατά τη διάρκεια Cloud Αποθήκευση ανεβάσετε και να γράψετε τις λειτουργίες. * * * * Upload & Εγγραφή Αποτυχίες: ** Οι πελάτες παρατήρησαν κυρίως σφάλματα HTTP 503 ΜΗ ΔΙΑΘΕΣΙΜΑ σε λειτουργίες WriteObject και χρονοδιακόπτες από πλευράς πελατών. * ** Αυξημένη συχνότητα εγγραφής: ** Οι λειτουργίες εγγραφής που πέτυχαν γνώρισαν σημαντικά υψηλότερα κενά από το κανονικό. * Οι λειτουργίες αποθήκευσης Cloud σε όλες τις άλλες περιοχές, καθώς και όλες τις άλλες υπηρεσίες Google Cloud, παρέμειναν ανεπηρέαστες από το συγκεκριμένο γεγονός.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 1 Σεπτεμβρίου 2026 στις 4:03 μ.μ. UTCresolved

   **Περίληψη ** Πολλαπλά προϊόντα σε εμάς-κεντρικό1-b βιώνουν υποβάθμιση των υπηρεσιών δικτύου. **Περιγραφή ** Βιώνουμε ένα θέμα δικτύωσης ξεκινώντας την Τρίτη, 2026-09-01 07:41 US/Pacific. Το θέμα επηρεάζει ένα τμήμα της ζώνης μας-κεντρική1-β. Οι υπόλοιπες ζώνες της περιοχής δεν επηρεάζονται. Η ομάδα μηχανικής του δικτύου μας έχει βάλει σε μετριασμούς και βλέπουμε υπηρεσίες να αρχίζουν να ανακάμπτουν. Θα παρέχουμε περισσότερες πληροφορίες μέχρι την Τρίτη, 2026-09-01 09:30 US/Pacific με τρέχουσες λεπτομέρειες. Ζητάμε συγγνώμη από όλους όσους επηρεάζονται από την αναστάτωση. ** Συμπτώματα πελατών ** Οι πελάτες βιώνουν αυξημένη απώλεια πακέτων και λάθη. * BigQuery * Cloud ροή δεδομένων * Σύννεφο SQL * Μηχανή App \"Το Σύννεφο τρέχει\" * Κράμα DB * Σύννεφο Bigtable * Σύννεφο Spanner * Μηχανή υπολογισμού * Σύννεφο VPN * Σύννεφο διασύνδεση * Σύννεφο NAT * Cloud Filestore * Σύννεφο Υβριδική Συνδεσιμότητα Εικονικό Ιδιωτικό Σύννεφο * Μηχανή του Google Kubernetes * Looker (Google Cloud πυρήνα) ** Εργασία ** * Οι πελάτες με το στρώμα υπηρεσιών Retries μπορεί να δουν επιτυχείς ολοκληρώσεις, καθώς μόνο ένα μέρος της ζώνης επηρεάζεται. * Οι πελάτες που επηρεάζονται σοβαρά και έχουν διαθέσιμες υπηρεσίες σε εναλλακτικές ζώνες μπορούν να αποτύχουν σε εναλλακτικές ζώνες.

2. 1 Σεπτεμβρίου 2026 στις 4:19 μ.μ. UTCresolved

   **Περίληψη ** Πολλαπλά προϊόντα σε εμάς-κεντρικό1-b βιώνουν υποβάθμιση των υπηρεσιών δικτύου. **Περιγραφή ** Το θέμα επηρεάζει ένα τμήμα της ζώνης μας-κεντρική1-β. Οι υπόλοιπες ζώνες της περιοχής δεν επηρεάζονται. Μετά από προσπάθειες μετριασμού σε επίπεδο δικτύου, η υποκείμενη υποδομή δικτύου έχει ανακάμψει πλήρως. Οι ομάδες μηχανικής προϊόντων σε όλο το Cloud επικυρώνουν την κατάσταση ανάκτησης των μεμονωμένων υπηρεσιών. Θα παρέχουμε περισσότερες πληροφορίες μέχρι την Τρίτη, 2026-09-01 10:00 US/Pacific με τρέχουσες λεπτομέρειες. ** Συμπτώματα πελατών ** Οι πελάτες βιώνουν αυξημένη απώλεια πακέτων και λάθη. * BigQuery * Cloud ροή δεδομένων * Σύννεφο SQL * Μηχανή App \"Το Σύννεφο τρέχει\" * Κράμα DB * Σύννεφο Bigtable * Σύννεφο Spanner * Μηχανή υπολογισμού * Σύννεφο VPN * Σύννεφο διασύνδεση * Σύννεφο NAT * Cloud Filestore * Σύννεφο Υβριδική Συνδεσιμότητα Εικονικό Ιδιωτικό Σύννεφο * Μηχανή του Google Kubernetes * Looker (Google Cloud πυρήνα) * Apigee * Google SCOps SOAR ** Εργασία ** * Οι πελάτες με το στρώμα υπηρεσιών Retries μπορεί να δουν επιτυχείς ολοκληρώσεις, καθώς μόνο ένα μέρος της ζώνης επηρεάζεται. * Οι πελάτες που επηρεάζονται σοβαρά και έχουν διαθέσιμες υπηρεσίες σε εναλλακτικές ζώνες μπορούν να αποτύχουν σε εναλλακτικές ζώνες.

3. 1 Σεπτεμβρίου 2026 στις 5:09 μ.μ. UTCresolved

   **Περίληψη ** Πολλαπλά προϊόντα σε εμάς-κεντρικό1-b βιώνουν υποβάθμιση των υπηρεσιών δικτύου. **Περιγραφή ** Το θέμα επηρεάζει ένα τμήμα της ζώνης μας-κεντρική1-β. Οι υπόλοιπες ζώνες της περιοχής δεν επηρεάζονται. Τα περισσότερα από τα προϊόντα έχουν ανακτηθεί και η ομάδα μηχανικής εξακολουθεί να επικυρώνει μερικές επιπτώσεις των προϊόντων που απομένουν. Θα παρέχουμε περισσότερες πληροφορίες μέχρι την Τρίτη, 2026-09-01 11:00 US/Pacific με τρέχουσες λεπτομέρειες. ** Συμπτώματα πελατών ** Οι πελάτες βιώνουν αυξημένη απώλεια πακέτων και λάθη. \"Το Σύννεφο τρέχει\" * Μηχανή App Μετά την ανάκτηση των προϊόντων * BigQuery * Cloud ροή δεδομένων * Σύννεφο Bigtable * Μηχανή υπολογισμού * Σύννεφο Υβριδική Συνδεσιμότητα * Cloud Filestore Εικονικό Ιδιωτικό Σύννεφο * Σύννεφο Spanner * Μηχανή του Google Kubernetes * Σύννεφο SQL * ΚράμαDBCloud VPN * Apigee * Σύννεφο διασύνδεση * Σύννεφο NAT * Looker (Google Cloud πυρήνα) * Google SCOps SOAR * Cloud Firestore ** Εργασία ** * Οι πελάτες με το στρώμα υπηρεσιών Retries μπορεί να δουν επιτυχείς ολοκληρώσεις, καθώς μόνο ένα μέρος της ζώνης επηρεάζεται. * Οι πελάτες που επηρεάζονται σοβαρά και έχουν διαθέσιμες υπηρεσίες σε εναλλακτικές ζώνες μπορούν να αποτύχουν σε εναλλακτικές ζώνες.

4. 1 Σεπτεμβρίου 2026 στις 6:01 μ.μ. UTCresolved

   **Περίληψη ** Πολλαπλά προϊόντα σε εμάς-κεντρικό1-b βιώνουν υποβάθμιση των υπηρεσιών δικτύου. **Περιγραφή ** Το θέμα επηρεάζει ένα τμήμα της ζώνης μας-κεντρική1-β. Οι υπόλοιπες ζώνες της περιοχής δεν επηρεάζονται. Τα περισσότερα από τα προϊόντα έχουν ανακτηθεί και η ομάδα μηχανικής εξακολουθεί να επικυρώνει μερικές επιπτώσεις των προϊόντων που απομένουν. Η συντήρηση του δικτύου της ρουτίνας προκάλεσε προβλήματα σε εμάς-κεντρικά1-b. Ανακαλύψαμε τη χωρητικότητα του δικτύου που είχε αντίκτυπο και αποκατέστησε όλες τις ζωνικές και περιφερειακές υπηρεσίες. Η συντήρηση στην περιοχή έχει διακοπεί ενώ διεξάγονται προληπτικοί έλεγχοι. Θα παρέχουμε περισσότερες πληροφορίες μέχρι την Τρίτη, 2026-09-01 12:30 US/Pacific με τρέχουσες λεπτομέρειες. ** Συμπτώματα πελατών ** Οι πελάτες βιώνουν αυξημένη απώλεια πακέτων και λάθη. \"Το Σύννεφο τρέχει\" * Μηχανή App Μετά την ανάκτηση των προϊόντων * BigQuery * Cloud ροή δεδομένων * Σύννεφο Bigtable * Μηχανή υπολογισμού * Σύννεφο Υβριδική Συνδεσιμότητα * Cloud Filestore Εικονικό Ιδιωτικό Σύννεφο * Σύννεφο Spanner * Μηχανή του Google Kubernetes * Σύννεφο SQL * ΚράμαDBCloud VPN * Apigee * Σύννεφο διασύνδεση * Σύννεφο NAT * Looker (Google Cloud πυρήνα) * Google SCOps SOAR * Cloud Firestore ** Εργασία ** * Οι πελάτες με το στρώμα υπηρεσιών Retries μπορεί να δουν επιτυχείς ολοκληρώσεις, καθώς μόνο ένα μέρος της ζώνης επηρεάζεται.

5. 1 Σεπτεμβρίου 2026 στις 6:36 μ.μ. UTCresolved

   **Περίληψη ** Πολλαπλά προϊόντα σε εμάς-κεντρικό1-b βιώνουν υποβάθμιση των υπηρεσιών δικτύου. **Περιγραφή ** Το θέμα επηρεάζει ένα τμήμα της ζώνης μας-κεντρική1-β. Οι υπόλοιπες ζώνες της περιοχής δεν επηρεάζονται. Τα περισσότερα από τα προϊόντα έχουν ανακτηθεί. Τα προϊόντα που επηρεάζονται Cloud Run και App Engine βλέπουν επίσης ανάκαμψη και τα σφάλματα έχουν μειώσει τα επίπεδα προ-συμπτώματος. Το μηχανοστάσιο συνεχίζει να παρακολουθεί και να επικυρώνει. Η συντήρηση της διαδρομής ιστού δικτύου ρουτίνας προκάλεσε απροσδόκητα ζητήματα σε δύο συστάδες σε εμάς-κεντρικό1-β. Ανακαλύψαμε τη χωρητικότητα του δικτύου που είχε αντίκτυπο και αποκατέστησε όλες τις ζωνικές και περιφερειακές υπηρεσίες. Η συντήρηση στην περιοχή έχει διακοπεί ενώ διεξάγονται προληπτικοί έλεγχοι. Θα παρέχουμε περισσότερες πληροφορίες μέχρι την Τρίτη, 2026-09-01 12:30 US/Pacific με τρέχουσες λεπτομέρειες. ** Συμπτώματα πελατών ** Οι πελάτες βιώνουν αυξημένη απώλεια πακέτων και λάθη. \"Το Σύννεφο τρέχει\" * Μηχανή App Μετά την ανάκτηση των προϊόντων * BigQuery * Cloud ροή δεδομένων * Σύννεφο Bigtable * Μηχανή υπολογισμού * Σύννεφο Υβριδική Συνδεσιμότητα * Cloud Filestore Εικονικό Ιδιωτικό Σύννεφο * Σύννεφο Spanner * Μηχανή του Google Kubernetes * Σύννεφο SQL * ΚράμαDBCloud VPN * Apigee * Σύννεφο διασύνδεση * Σύννεφο NAT * Looker (Google Cloud πυρήνα) * Google SCOps SOAR * Cloud Firestore ** Εργασία ** * Οι πελάτες με το στρώμα υπηρεσιών Retries μπορεί να δουν επιτυχείς ολοκληρώσεις, καθώς μόνο ένα μέρος της ζώνης επηρεάζεται.

6. 1 Σεπτεμβρίου 2026 στις 7:12 μ.μ. UTCresolved

   **Περίληψη ** Πολλαπλά προϊόντα σε εμάς-κεντρικό1-b έμπειρο αποδόμηση υπηρεσιών δικτύου. **Περιγραφή ** Το θέμα επηρέαζε ένα τμήμα της ζώνης μας-κεντρική1-β. Οι υπόλοιπες ζώνες της περιοχής δεν επηρεάστηκαν. Όλα τα αντικρουόμενα προϊόντα έχουν ανακτηθεί. Από την προκαταρκτική ανάλυση, η συντήρηση της διαδρομής δικτυώματος ρουτίνας προκάλεσε απροσδόκητα ζητήματα σε ένα σμήνος σε εμάς-κεντρικό1-b. Ανακαλύψαμε τη χωρητικότητα του δικτύου που είχε αντίκτυπο και αποκατέστησε όλες τις ζωνικές και περιφερειακές υπηρεσίες. Η συντήρηση στην περιοχή έχει διακοπεί ενώ διεξάγονται προληπτικοί έλεγχοι. Σας ευχαριστούμε για την υπομονή σας, ενώ εργαστήκαμε για την επίλυση του ζητήματος. ** Συμπτώματα πελατών ** Οι πελάτες παρουσίασαν αυξημένη απώλεια πακέτων και λάθη. ** Εργασία ** Το θέμα έχει μετριαστεί.

7. 3 Σεπτεμβρίου 2026 στις 5:47 μ.μ. UTCresolved

   Προκαταρκτική αναφορά περιστατικού . . . . . Ζητάμε ειλικρινά συγγνώμη για την αναστάτωση που προκάλεσε αυτό το περιστατικό στην επιχείρησή σας. Γνωρίζουμε πόσο πολύ βασίζεστε στο Google Cloud, και λυπούμαστε για την επίδραση στο περιβάλλον σας. Προσπαθούμε να αντιμετωπίσουμε τη βασική αιτία και να αποτρέψουμε αυτό να συμβεί στο μέλλον. Παρακαλείστε να σημειώσετε ότι αυτές οι πληροφορίες βασίζονται στις καλύτερες γνώσεις μας κατά τη στιγμή της δημοσίευσης και υπόκεινται σε αλλαγές καθώς η έρευνά μας συνεχίζεται. Μια τελική αναφορά περιστατικών με προληπτικές ενέργειες θα δημοσιευθεί μόλις ολοκληρωθεί η έρευνά μας. Εάν έχετε βιώσει αντίκτυπο έξω από αυτό που παρατίθεται παρακάτω, παρακαλούμε επικοινωνήστε με την Υποστήριξη Google Cloud χρησιμοποιώντας το https://cloud.google.com/ support Ημερομηνία/ώρα του τεύχους (Όλη την ώρα ΗΠΑ/Ειρηνικού) **Πρωτάθλημα Έναρξη **: 1 Σεπτεμβρίου 2026 07:41 **Incident End**: 1 Σεπτεμβρίου 2026 11:52 **Dιάρκεια **: 4 ώρες, 11 λεπτά Περίληψη Την Τρίτη, 1η Σεπτεμβρίου 2026, ορισμένοι πελάτες σε εμάς-κεντρικό1-b γνώρισαν υποβάθμιση των υπηρεσιών δικτύου και παράδειγμα απομόνωσης για διάρκεια 4 ωρών και 11 λεπτών. Στους πελάτες μας των οποίων οι επιχειρήσεις επηρεάστηκαν κατά τη διάρκεια αυτής της διακοπής, ζητάμε ειλικρινά συγγνώμη. Αυτό δεν είναι το επίπεδο ποιότητας και αξιοπιστίας που προσπαθούμε να σας προσφέρουμε, και κάνουμε άμεσα βήματα για να βελτιώσουμε την απόδοση και τη διαθεσιμότητα της πλατφόρμας. Προκαταρκτική αιτία . . . . Η άμεση τεχνική σκανδάλη για αυτό το γεγονός ήταν η ακούσια φυσική αποσύνδεση των καλωδίων οπτικών ινών δικτύου κατά τη διάρκεια μιας διαδικασίας συντήρησης υλικού ρουτίνας. Ένας μηχανικός εκτελούσε μια προγραμματισμένη αναβάθμιση της χωρητικότητας των δρομολογητών datacenter που υποστηρίζουν ένα κλάσμα της χωρητικότητας στη ζώνη us-central1-b. Η αρχιτεκτονική του δικτύου για κάθε datacenter είναι σχεδιασμένη με πλεονασμό σε πολλαπλές συσκευές δρομολόγησης. Το σύστημα είναι σχεδιασμένο να είναι ανθεκτικό σε όλες τις αστοχίες μιας συσκευής ή ίνας-μονοπάτι, και οι περισσότερες διπλές ή τριπλές αποτυχίες δεν επηρεάζουν την κυκλοφορία των πελατών. Για να εξασφαλιστεί αυτό, οι συσκευές και οι διαδρομές ινών διαχωρίζονται φυσικά σε κάθε datacenter, με ποικίλες πηγές ενέργειας. Ένα διαδικαστικό σφάλμα σήμαινε ότι η φυσική δράση συντήρησης διαδοχικά αποσυνδέθηκε 100% των διαδρομών ινών σε όλες τις συσκευές μέσα σε 13 λεπτά. Η φύση του λάθους, σε συνδυασμό με την ταχύτητα της δράσης, απέτρεψε τις προειδοποιήσεις για λανθασμένη δράση φτάνοντας στον μηχανικό πριν την πλήρη αποσύνδεση. Αυτό είχε ως αποτέλεσμα να απομονωθεί από το δίκτυο η ικανότητα υπολογισμού της προσκρούουσας ζώνης. Οι πελάτες δεν μπορούσαν να φτάσουν τις εικονικές μηχανές τους, και αυτές οι εικονικές μηχανές δεν μπορούσαν να δημιουργήσουν συνδέσεις εκτός της ζώνης τους. . . . Αποκατάσταση Το θέμα εντοπίστηκε αμέσως από αυτοματοποιημένα συστήματα παρακολούθησης της απώλειας δικτύου καθώς και από προληπτικούς ανιχνευτές, οι οποίοι ενεπλάκησαν γρήγορα στις ομάδες μηχανικής του δικτύου και αντιμετώπισης συμβάντων. Για τον μετριασμό του άμεσου αντίκτυπου των πελατών, οι μηχανικές ομάδες απομάκρυναν ενεργά την κυκλοφορία από τις επιρρεπείς υποδομές, μετατοπίζοντας αυτόματα την κυκλοφορία συμβατού φόρτου εργασίας σε υγιή ικανότητα αλλού στην περιοχή. Παράλληλα, τεχνικοί hardware operations επιτόπου, εντόπισαν τους αποσυνδεδεμένους οπτικούς συνδέσμους και επανατοποθέτησαν φυσικά τις ίνες. Μόλις οι φυσικοί δεσμοί αποκαταστάθηκαν πλήρως, οι ρυθμοί ροής της κυκλοφορίας κανονικοποιήθηκαν και η κυκλοφορία ανακατευθύνθηκε προς τα πίσω για να επιστρέψει την ικανότητα στην υπηρεσία. . . . Περιγραφή του αντίκτυπου Την Τρίτη 1 Σεπτεμβρίου, από τις 07:41 έως τις 11:52 ΗΠΑ/Ειρηνικού, ένα τμήμα της ζώνης us-central1-b γνώρισε σοβαρή υποβάθμιση του δικτύου και απομόνωση των πόρων. * ** Πολλαπλά προϊόντα που επηρεάζονται: ** Η διακοπή του δικτύου προς/από ένα τμήμα του μας-κεντρικό1-β επηρέασε πολλαπλά προϊόντα GCP για ορισμένους πελάτες σε αυτή τη ζώνη. * ** Ποσοστό σφάλματος: ** Τα ποσοστά πτώσης της ροής της κυκλοφορίας για τους πόρους που φιλοξενούνται στην πληγείσα περιοχή έφτασαν το 100% κατά τη διάρκεια της αιχμής του περιστατικού, με αποτέλεσμα να μην μπορούν να επιτευχθούν εικονικές μηχανές και να αυξηθεί η απώλεια πακέτων. ** Επηρεαζόμενες υπηρεσίες και χαρακτηριστικά ** * **Google Compute Engine: ** Ανικανότητα πρόσβασης σε εικονικές μηχανές εξωτερικά, και αδυναμία για VMs να φθάσουν απομακρυσμένους πόρους. * **Google Kubernetes κινητήρα: ** Μη προσπελάσιμα περιφερειακά/ζωνικά σμήνη και κόμβοι εντός της πληγείσας ζώνης, προωθώντας καθυστερημένους χρόνους ανάκτησης σμήνους. * ** Cloud Run / Google App Engine: ** Προσωρινή λανθάνουσα αιχμή και εν αναμονή διακοπής της ουράς ως φόρτος εργασίας του συστήματος υποστήριξης εκκενώθηκε αυτόματα και μετατοπίστηκε σε υγιή ικανότητα. Ένα υποσύνολο του φόρτου εργασίας στην ειδικά πληγείσα περιοχή γνώρισε υποβάθμιση μέχρι τις 11:52 ΗΠΑ/Ειρηνικού. * ** Cloud SQL, AlloyDB για PostgreSQL, Cloud Spanner, Google Cloud Bigtable, Cloud Filestore:** Η πρόσβαση στα δεδομένα και η συνδεσιμότητα αποκόπτονται για περιπτώσεις που εντοπίζονται αυστηρά στην πληγείσα υποδομή. * ** Virtual Private Cloud (VPC), Cloud NAT, Apigee, Google BigQuery, Google Cloud Dataflow, Looker, Google SecOps SOAR, Hybrid Connectivity, Cloud Interconnect:** Αυξημένη απώλεια πακέτων δικτύου, σταγόνες συνδεσιμότητας και διαλείμματα API στην προσκρούουσα ζώνη.

8. 10 Σεπτεμβρίου 2026 στις 9:20 μ.μ. UTCresolved

   Έκθεση περιστατικών . . . . . . . Περίληψη Την Τρίτη, 1η Σεπτεμβρίου 2026, ορισμένοι πελάτες σε εμάς-κεντρικό1 γνώρισαν υποβάθμιση των υπηρεσιών δικτύου και παράδειγμα απομόνωσης για διάρκεια 4 ωρών και 11 λεπτών. Στους πελάτες μας των οποίων οι επιχειρήσεις επηρεάστηκαν κατά τη διάρκεια αυτής της διακοπής, ζητάμε ειλικρινά συγγνώμη. Αυτό δεν είναι το επίπεδο ποιότητας και αξιοπιστίας που προσπαθούμε να σας προσφέρουμε, και κάνουμε άμεσα βήματα για να βελτιώσουμε την απόδοση και τη διαθεσιμότητα της πλατφόρμας. Αιτία ρίζας Το γεγονός πυροδοτήθηκε από την ακούσια φυσική αποσύνδεση καλωδίων οπτικών ινών δικτύου κατά τη διάρκεια συντήρησης υλικού ρουτίνας. Ένας τεχνικός εκτελούσε μια προγραμματισμένη αναβάθμιση της χωρητικότητας στους δρομολογητές data center που υποστηρίζουν ένα κλάσμα της χωρητικότητας στη ζώνη us-central1-b και ένα μικρό κλάσμα της χωρητικότητας στη ζώνη us-central1-f. Κατά τη διάρκεια της hands-on συντήρησης, οπτικές ίνες που συνέδεαν τα data center routers με το ύφασμα του δικτύου αποσυνδέθηκαν και οι οπτικοί πομποδέκτες αντικαταστάθηκαν με έναν πομποδέκτη που υποστηρίζει συνδεσιμότητα υψηλότερης πυκνότητας. Αυτός ο πομποδέκτης δεν ήταν συμβατός με τους πομποδέκτες που υπήρχαν ακόμα στο ύφασμα data center, προκαλώντας απώλεια συνδεσιμότητας για κάθε ίνα. Το δίκτυο είναι σχεδιασμένο με περιττούς δρομολογητές σε ξεχωριστά δωμάτια data center μέσα στο ίδιο κτίριο έτσι ώστε η αποτυχία ενός router να μην διακόπτει την υπηρεσία. Η συντήρηση αποσκοπούσε στην αναβάθμιση ενός δρομολογητή σε διάστημα αρκετών ημερών, με εκτροπές κυκλοφορίας σε κάθε στάδιο και επαλήθευση μεταξύ των βημάτων ότι το δίκτυο έχει επιστρέψει σε πλήρως συνδεδεμένη κατάσταση. Ωστόσο, ένα διαδικαστικό σφάλμα στη χειροκίνητη ενορχηστρωμένη διαδικασία αναβάθμισης προκάλεσε την πλήρη λίστα των αντικαταστάσεων πομποδέκτη σε όλους τους δρομολογητές να εκδοθούν στον τεχνικό χωρίς οδηγίες για την ακολουθία του έργου ενός δρομολογητή κάθε φορά. Η ροή εργασιών συντήρησης επίσης δεν περιελάμβανε τα αναμενόμενα βήματα επαλήθευσης του ανθρώπου και του λογισμικού για την ανίχνευση ακούσιας διαταραχής. Ως αποτέλεσμα, ο τεχνικός αποσυνδέθηκε διαδοχικά όλες τις διαδρομές ινών σε όλες τις προσβεβλημένες συσκευές μέσα σε 13 λεπτά. Η ταχύτητα και η φύση του σφάλματος εμπόδισαν τις προειδοποιήσεις για λανθασμένη ενέργεια να φτάσουν στον μηχανικό πριν χαθεί η συνδεσιμότητα. Επιπλέον, μια διαδικασία στάσης για να σταματήσει αν το φως ανιχνεύεται σε οποιοδήποτε καλώδιο οπτικών ινών μετά την αποσύνδεση δεν ακολουθήθηκε. Αυτό είχε ως αποτέλεσμα να απομονωθεί από το δίκτυο η ικανότητα υπολογισμού της προσκρούουσας ζώνης. Οι πελάτες δεν μπορούσαν να φτάσουν τις εικονικές μηχανές τους, και αυτές οι εικονικές μηχανές δεν μπορούσαν να δημιουργήσουν συνδέσεις εκτός της ζώνης τους. Αποκατάσταση και Πρόληψη Το θέμα εντοπίστηκε αμέσως από αυτοματοποιημένα συστήματα παρακολούθησης της απώλειας δικτύου καθώς και από προληπτικούς ανιχνευτές, οι οποίοι ενεπλάκησαν γρήγορα στις ομάδες μηχανικής του δικτύου και αντιμετώπισης συμβάντων. Για να μετριαστεί ο άμεσος αντίκτυπος των πελατών, οι μηχανικές ομάδες απομάκρυναν ενεργά την κυκλοφορία από την επιρρεπής υποδομή. Παράλληλα, οι τεχνικοί υλισμικού που βρίσκονται επί τόπου εντόπισαν τους αποσυνδεδεμένους οπτικούς συνδέσμους και επανατοποθέτησαν τους αρχικούς οπτικούς πομποδέκτες. Μόλις οι φυσικοί δεσμοί αποκαταστάθηκαν πλήρως, οι ρυθμοί ροής της κυκλοφορίας κανονικοποιήθηκαν και η κυκλοφορία ανακατευθύνθηκε προς τα πίσω για να επιστρέψει την ικανότητα στην υπηρεσία. Η Google δεσμεύεται να αποτρέψει την επανάληψη αυτού του ζητήματος στο μέλλον και ολοκληρώνει τις ακόλουθες ενέργειες: * Ενισχύστε την εκπαίδευση σε μας-κεντρική1 περιοχή και παγκοσμίως γύρω από ασφαλείς τεχνικές συντήρησης, συμπεριλαμβανομένης της υποχρεωτικής απαίτησης για την επαλήθευση του κατά πόσον το φως είναι σε κάθε μη-συνδεμένη ίνα. * Τελειώστε τη μετανάστευση των ροών εργασίας αναβάθμισης δικτύου σε ένα πλήρως αυτόματα διαδοχικό σύστημα ενορχήστρωσης. Οι περισσότερες κοινές ροές εργασίας περιφερειακού δικτύου ολοκληρώθηκαν το 2025 και οι ροές εργασίας σε ζώνες βρίσκονται σε εξέλιξη. * Ολοκληρώστε την ανάπτυξη της εργασίας σταματήσει την ειδοποίηση για τις ενέργειες με αποτέλεσμα την ακούσια αποσύνδεση των καλωδίων ζωντανών ινών σε κέντρα δεδομένων Google. * Ολοκληρώστε την ανάπτυξη του αυτοματοποιημένου συστήματος που θα απομακρύνει την περιφερειακή κυκλοφορία από τις ελαττωματικές ζώνες, μειώνοντας το χρόνο από περίπου 19 λεπτά σε περίπου 5 λεπτά. . . . Αναλυτική περιγραφή της πρόσκρουσης Την Τρίτη, 1η Σεπτεμβρίου, από τις 07:41 έως τις 11:52 ΗΠΑ/Ειρηνικού, ένα τμήμα από τις ζώνες us-central1-b και us-central1-f γνώρισε σοβαρή υποβάθμιση του δικτύου και απομόνωση των πόρων. 1. Πολλαπλά προϊόντα που επηρεάστηκαν: Η διαταραχή του δικτύου προς/από ένα τμήμα μας-κεντρικό1-b και μας-κεντρικές1-f ζώνες επηρέασε όλα τα προϊόντα της ζώνης GCP για ορισμένους πελάτες σε αυτές τις ζώνες. 2. Περιφερειακή επίπτωση: Τα περιφερειακά προϊόντα που χρησιμοποιούν τη χωρητικότητα στο πληγείσα κέντρο δεδομένων επηρεάστηκαν μέχρι τις εκτροπές κυκλοφορίας ήταν πλήρως σε ισχύ στις 08:00 ΗΠΑ/Ειρηνικού. Το Google Kubernetes Engine και το Cloud Run / Google App Engine είχαν μεγαλύτερες επιπτώσεις, που συζητήθηκαν παρακάτω. 3 ** Επηρεαζόμενες υπηρεσίες και χαρακτηριστικά ** * Google Compute Engine: Ανικανότητα για τους χρήστες στην πληγείσα μερίδα μας-κεντρική1-b και μας-κεντρικές1-f ζώνες για πρόσβαση σε εικονικές μηχανές εξωτερικά, και αδυναμία για VMs να φθάσουν απομακρυσμένους πόρους. * Cloud SQL, AlloyDB για PostgreSQL, Google Cloud Bigtable, Cloud Filestore: Πρόσβαση δεδομένων και συνδεσιμότητα αποκομμένη για περιπτώσεις που εντοπίζονται αυστηρά στην επιρρεπείς υποδομές. * Cloud Spanner, Cloud Firestore: Αυξημένα ποσοστά σφαλμάτων Remote Process Call (RPC), timeouts και αιχμές λανθάνουσας λανθάνουσας λανθάνουσας λανθάνουσας λανθάνουσας για τις πολυπεριοχικές περιπτώσεις nam5 λόγω της κομμένης συνδεσιμότητας σε συστατικά που τρέχουν στην προσκρούουσα ζώνη. * Virtual Private Cloud (VPC), Cloud NAT, Apigee, Google BigQuery, Google Cloud Dataflow, Looker, Google SecOps SOAR, Hybrid Connectivity, Cloud Interconnect: Αυξημένη απώλεια πακέτων δικτύου, σταγόνες συνδεσιμότητας, και διαλείμματα API στην προσκρούουσα ζώνη. * Μηχανή του Google Kubernetes (GKE): Μεταξύ 07:40 και 09:15 ΗΠΑ/Ειρηνικού στις 2026-09-01, οι πελάτες παρουσίασαν λάθη και διαλείμματα σε αιτήματα τους GKE αεροπλάνα ελέγχου συστάδων (Kubernetes API servers) σε εμάς-κεντρικά1. Αυτό θα μπορούσε να προκαλέσει νέα ή ενημερωμένα φόρτο εργασίας να αποτύχει προγραμματισμό και λειτουργίες Kubernetes API να αποτύχει. * Cloud Run / Google App Engine: Προσωρινές αιχμές λανθάνουσας ισχύος και εν αναμονή διακοπής της ουράς ως φόρτος εργασίας του συστήματος υποστήριξης εκκενώνονται αυτόματα και μετατοπίζονται σε υγιή ικανότητα. Ένα υποσύνολο του φόρτου εργασίας στην ειδικά πληγείσα περιοχή γνώρισε υποβάθμιση μέχρι τις 11:52 ΗΠΑ/Ειρηνικού. ** Επιπτώσεις πελατών ** Πελάτες με πόρους που φιλοξενούνται στις συγκεκριμένες πληγείσες συστάδες εντός μας-κεντρικό1-b και μας-κεντρικό1-f υπέστησαν μια πλήρη απώλεια της συνδεσιμότητας δικτύου ξεκινώντας από 07:41 ΗΠΑ/Ειρηνικού. Κατά τη διάρκεια αυτής της περιόδου, οι εικονικές μηχανές και οι συναφείς υπηρεσίες κατέστησαν απρόσιτες από το διαδίκτυο και από άλλες περιοχές του Google Cloud, και οι εν λόγω εσωτερικοί πόροι δεν μπορούσαν να δρομολογήσουν εξωτερικές συνδέσεις. Το ζήτημα εντοπίστηκε σχεδόν αμέσως και οι μηχανικοί ανέλαβαν δράσεις εκτροπής της κυκλοφορίας στις 07:45 και 08:00 US/Pacific για να μειώσουν τις επιπτώσεις στα περιφερειακά προϊόντα. Μέχρι τις 08:50 ΗΠΑ/Ειρηνικό, η πλειονότητα των φυσικών συνδέσεων αποκαταστάθηκαν και η κυκλοφορία άρχισε να ανακάμπτει, και οι ενέργειες εκτροπής κυκλοφορίας αφαιρέθηκαν στις 09:19 ΗΠΑ/Ειρηνικού. Η πλήρης ανάκτηση όλων σχεδόν των επηρεαζόμενων υπηρεσιών και μακροχρόνιων επιχειρήσεων επιβεβαιώθηκε από τις 11:52 ΗΠΑ/Ειρηνικού. Επειδή η απομόνωση του δικτύου περιορίστηκε αυστηρά σε συγκεκριμένες συστάδες μέσα σε εμάς-κεντρικό1-β και εμάς-κεντρικό1-στ, οι πολυζωνικές εφαρμογές που αξιοποιούν σωστά την απόλυση σε άλλες ζώνες σε εμάς-κεντρικό1 ήταν σε μεγάλο βαθμό σε θέση να παρακάμψουν τη φυσική αποτυχία υλικού και να συνεχίσουν να εξυπηρετούν την κυκλοφορία. Οι πελάτες με έργα τόσο σε εμάς-κεντρικό1-b όσο και σε εμάς-κεντρικό1-f δεν θα έβλεπαν πολυζωνική επίπτωση - το πολύ μία από τις ζώνες τους θα είχε χωρητικότητα στο πληγεί κέντρο δεδομένων.

9. 29 Σεπτεμβρίου 2026 στις 4:09 μ.μ. UTCresolved

   . . . Προσθήκη στην αναφορά περιστατικών Αυτή η προσθήκη επεκτείνει τη λεπτομερή περιγραφή του αντίκτυπου από το προηγούμενο μήνυμα. Αν και μόνο δύο ομάδες σε ένα κέντρο δεδομένων σε μας-κεντρικό1-β και εμάς-κεντρικό1-f έμπειρο απομονωμένο δίκτυο, μερικά περιφερειακά προϊόντα με εξάρτηση από το πληγείσα datacenter επηρεάστηκαν επίσης. Μεταξύ 07:41 και 11:52 ΗΠΑ/Ειρηνικού την Τρίτη 1 Σεπτεμβρίου 2026, επηρεάστηκαν τα ακόλουθα προϊόντα: - **Υπολογιστές VMs Κινητήρας **: VMs τρέχει στο πληγείσα data center έχασε συνδεσιμότητα δικτύου με τους πόρους που βρίσκονται έξω από το datacenter τους. Από την άποψη της μηχανής υπολογισμού, αυτό το περιστατικό επηρέασε μόνο ένα υποσύνολο VMs σε εμάς-κεντρικό1-b και εμάς-κεντρικό1-f. - **Ζωνικά και Περιφερειακά Προϊόντα Με βάση τη μηχανή υπολογισμού ** Προϊόντα με εξαρτήσεις από VMs στο επηρεασμένο datacenter παρουσίασαν συμπτώματα όπως χρονισμού σύνδεσης ή μη διαθεσιμότητα υπηρεσιών, επειδή η υποκείμενη VMs έχασε συνδεσιμότητα δικτύου. Παραδείγματα προϊόντων που βασίζονται σε VMs Compute Engine περιλαμβάνουν: Apigee, Cloud SQL, AlloyDB για PostgreSQL, Dataflow, Cloud Filestore, και Looker. - **Google Kubernetes Engine (GKE)**: Σμήνη GKE των οποίων το επίπεδο ελέγχου είχε εξαρτήσεις από τα VMs της Μηχανής Υπολογιστών στις πληγείσες συστάδες παρουσίασαν σφάλματα και χρονόμετρα όταν διαχειριστές ή κόμβοι επιχείρησαν να συνδεθούν με τον εξυπηρετητή Kubernetes API. Κατά συνέπεια, οι αποστολές μπορεί να έχουν καθυστερήσει, οι λειτουργίες Kubernetes API μπορεί να έχουν αποτύχει, και οι νέοι κόμβοι μπορεί να μην έχουν εγγραφεί με το αεροπλάνο ελέγχου (προκαλώντας τις επιχειρησιακές καθυστερήσεις του κόμβου). - **Cloud Run και App Engine: ** Ο φόρτος εργασίας στην περιοχή us-central1 παρουσίασε αυξημένη λανθάνουσα λανθάνουσα εξυπηρέτηση, 5xx ματαίωση των σφαλμάτων αίτησης και εξερχόμενη υποβάθμιση της συνδεσιμότητας. Για την πρόληψη σοβαρών αποτυχιών στο αίτημα, η κυκλοφορία εκτράπηκε σε άλλες συστάδες. Η μετατόπιση των αιτημάτων σε άλλες συστάδες προκάλεσε προσωρινά αυξημένη λανθάνουσα συχνότητα ή σφάλματα σε αυτές τις συστάδες. Από τη στιγμή που αποκαταστάθηκε η στραμμένη συστάδα, η ζήτηση φόρτου εργασίας για αυτά τα νέα συστήματα υποστήριξης δημιούργησε ένα «κάτω από αγέλη» ταυτόχρονων αρχικοποιήσεων στιγμών. Αυτό το ξαφνικό κύμα παρέκαμψε ζεστές κρύπτες και κατακλύστηκε εσωτερικές βαθμίδες διατήρησης αρχείων, επεκτείνοντας τα συμπτώματα μέχρι την παροχή επείγουσας δυναμικότητας. - **Άλλα Google APIs και Υπηρεσίες**, σε μας-κεντρική1 ή μια πολυπεριοχή που μας περιλαμβάνει-κεντρική1, επηρεάστηκαν αν είχαν εξαρτήσεις από εργασίες λογισμικού στις πληγείσες συστάδες και δεν ήταν σε θέση να χρησιμοποιήσουν εργασίες λογισμικού σε μια ανεπηρέαστη συστάδα. Τα συμπτώματα περιελάμβαναν χρονισμούς σύνδεσης ή μη διαθεσιμότητα υπηρεσιών. Παραδείγματα άλλων API και υπηρεσιών της Google είναι: Google Cloud Bigtable, BigQuery, Google SecOps SOAR, Cloud Spanner, και Cloud Firestore. Για ορισμένες υπηρεσίες, τα συμπτώματα περιορίζονταν σε προσωρινές αιχμές λανθάνουσας ισχύος και μη διαθεσιμότητα υπηρεσίας μέχρις ότου ο φόρτος εργασίας μετατοπίστηκε σε ανεπηρέαστες συστάδες. - **Ιδιωτική Υπηρεσία Connect**: Πελάτες (σε οποιαδήποτε περιοχή) βίωναν θέματα συνδεσιμότητας που αφορούν τα τελικά σημεία της PSC με εξαρτήσεις σε εμάς-κεντρικά1, σε συγκεκριμένες περιστάσεις: - Τα τελικά σημεία της PSC για τα Google APIs επηρεάστηκαν με τον ίδιο τρόπο όπως σημειώνεται στην ενότητα Google APIs και υπηρεσίες. - Τα τελικά σημεία παραγωγής/καταναλωτικής ΕΠΑ επηρεάστηκαν εάν ο παραγωγός είχε ισοσταθμιστές φορτίου ή συστήματα υποστήριξης στις πληγείσες συστάδες μας-κεντρικό1. - **Hybrid Connectivity**: Some Cloud Router, Cloud VPN, and Cloud Interconnect VLAN attachments in us-central1 επηρεάστηκαν σε συγκεκριμένες περιστάσεις: - Cloud Router BGP software works for some Cloud Routers in us-central1 been a Cloud Router conservation event if their BGP software works were runed in the affected clusters. - Cloud VPN εργασίες λογισμικού σήραγγας που εκτελούνται στις πληγείσες συστάδες έχασε συνδεσιμότητα δικτύου. Αυτό έκανε μερικές σήραγγες του Cloud VPN σε μας-κεντρικό1 να πάει κάτω μέχρι μια εργασία αντικατάστασης σήραγγα σε ένα διαφορετικό σμήνος ανατέθηκε. - Πόροι (σε οποιαδήποτε περιοχή) αποστολή πακέτων μέσω συνημμένων VLAN Cloud Διασύνδεσης σε εμάς-κεντρικό1 θα μπορούσε να έχει βιώσει διαλείπουσα ζητήματα συνδεσιμότητας σε ορισμένες περιπτώσεις όπου οι ροές δικτύου δεν ήταν ήδη προγραμματισμένες. - ** Εξισορρόπηση φορτίου και άλλα προϊόντα **: Οι ισοσταθμιστές φορτίου και άλλα προϊόντα που εξαρτιόνταν από διαχειριζόμενες εργασίες Envoy ενός υποδικτύου μόνο μεσολάβησης σε μας-κεντρικό1 παρουσίασαν αυξημένη λανθάνουσα ή συνδεσιμότητα ζητήματα, αν αρκετές εργασίες Envoy ήταν στις πληγείσες συστάδες. Τα ακόλουθα προϊόντα επηρεάστηκαν: - Περιφερειακοί εξωτερικοί ισοσταθμιστές φορτίων εφαρμογών σε εμάς-κεντρικό1 - Περιφερειακοί εσωτερικοί ισοσταθμιστές φορτίου εφαρμογών σε εμάς-κεντρικό1 - Περιφερειακοί εσωτερικοί ισοσταθμιστές φορτίου πληρεξουσίων σε εμάς-κεντρικοί1 - Περιφερειακοί εσωτερικοί ισοσταθμιστές φορτίου δικτύου πληρεξουσίων σε εμάς-κεντρικοί1 - Περιφερειακοί εσωτερικοί ισοσταθμιστές φορτίου δικτύου πληρεξουσίων σε εμάς-κεντρικοί1 - Περιφερειακοί εσωτερικοί εξισορρόπησης φορτίου δικτύου πληρεξουσίων σε εμάς-κεντρικοί 1 - Περιφερειακοί εσωτερικοί εξισορρόπηση φορτίων δικτύου πληρεξουσίου σε εμάς-κεντρικοί1 - Περιφερειακοί εσωτερικοί εξισορρόπησης φορτίου δικτύου πληρεξουσίου με πληρεξουσίους σε εμάς-κεντρικοί1 - Secure Web Proxy in us-central1

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 20 Αυγούστου 2026 στις 4:44 μ.μ. UTCresolved

   **Summary** We are investigating an issue where customers may experience timeouts, service degradations, errors, and elevated latencies across multiple products in the us-west1 region. **Description** We are experiencing an issue with multiple products, beginning on Thursday, 2026-08-20 08:40 PDT. Our engineering team continues to investigate the issue. We will provide an update by Thursday, 2026-08-20 10:30 PDT with details. We apologize to all who are affected by the disruption. **Diagnosis / Customer Symptoms** Customers in us-west1 may experience timeouts, service degradations, errors, and elevated latencies across multiple products. **Workaround** None at this time.

2. 20 Αυγούστου 2026 στις 5:13 μ.μ. UTCresolved

   **Summary** We are investigating an issue where customers may experience timeouts, service degradations, errors, and elevated latencies across multiple products in the us-west1 region. **Description** Mitigation actions are implemented by our engineering teams, recovery trends have been observed across infrastructure layers. Active efforts remain underway to bring impacted cloud services back to full operation. We will provide an update by Thursday, 2026-08-20 10:45 PDT with details. **Diagnosis / Customer Symptoms** Customers in us-west1 may experience timeouts, service degradations, errors, and elevated latencies across multiple products. **Workaround** We recommend customers to failover to other regions where feasible.

3. 20 Αυγούστου 2026 στις 5:32 μ.μ. UTCresolved

   **Summary** We are investigating an issue where customers may experience timeouts, service degradations, errors, and elevated latencies across multiple products in the us-west1 region. **Description** Mitigation actions are implemented by our engineering teams, recovery trends have been observed across infrastructure layers. Active efforts remain underway to bring impacted cloud services back to full operation. We will provide an update by Thursday, 2026-08-20 11:00 PDT with details. **Diagnosis / Customer Symptoms** Customers in us-west1 may experience timeouts, service degradations, errors, and elevated latencies across multiple products. **Workaround** We recommend customers to failover to other regions where feasible.

4. 20 Αυγούστου 2026 στις 6:03 μ.μ. UTCresolved

   **Summary** The issue causing timeouts, degradations, errors, and latencies across multiple us-west1 products has been mitigated and we are working to recover all products. **Description** Mitigation actions have been completed by our engineering teams and we are seeing recovery from multiple products. We are continuing to work to recover the remaining products. We will provide an update by Thursday, 2026-08-20 11:45 PDT with details. **Diagnosis / Customer Symptoms** Customers in us-west1 may experience timeouts, service degradations, errors, and elevated latencies across multiple products. **Workaround** No workarounds needed at this time.

5. 20 Αυγούστου 2026 στις 6:53 μ.μ. UTCresolved

   **Summary** The issue causing timeouts, degradations, errors, and latencies across multiple us-west1 products has been mitigated and we are working to recover all products. **Description** Mitigation actions have been completed by our engineering teams and we are seeing recovery from multiple products. We are continuing to work to recover the remaining products. We will provide an update by Thursday, 2026-08-20 12:30 PDT with details. **Diagnosis / Customer Symptoms** Customers in us-west1 may experience timeouts, service degradations, errors, and elevated latencies across multiple products. **Workaround** No workarounds needed at this time.

6. 20 Αυγούστου 2026 στις 7:21 μ.μ. UTCresolved

   **Summary** The issue causing timeouts, degradations, errors, and latencies across multiple us-west1 products has been mitigated and we are working to recover all products. **Description** Mitigation actions have been completed by our engineering teams and we are seeing recovery from multiple products. We are continuing to work to recover the remaining products. We will provide an update by Thursday, 2026-08-20 13:30 PDT with details. **Diagnosis / Customer Symptoms** Customers in us-west1 may experience timeouts, service degradations, errors, and elevated latencies across multiple products. **Workaround** No workarounds needed at this time.

7. 20 Αυγούστου 2026 στις 7:37 μ.μ. UTCresolved

   **Summary** The issue causing timeouts, degradations, errors, and latencies across multiple us-west1 products has been mitigated. **Description** We have mitigated the issue impacting multiple products in our us-west1 region as of Thursday, 2026-08-20 10:22 PDT. Our engineering teams have restored capacity on a planned optical maintenance that caused unexpected congestion in Dalles, Oregon metro /us-west1 region. Our systems stabilized and services have recovered once capacity was restored. Our teams are continuing to monitor for any residual impact. We will publish an analysis of this incident once we have completed our internal investigation. We thank you for your patience while we worked on resolving the issue. **Diagnosis / Customer Symptoms** Customers in us-west1 may have experienced timeouts, service degradations, errors, and elevated latencies across multiple products. **Workaround** This issue is now mitigated.

8. 25 Αυγούστου 2026 στις 6:20 π.μ. UTCresolved

   # Preliminary Incident Report We sincerely apologize for the disruption this incident caused to your business operations. Recognizing your reliance on Google Cloud, we express our sincere regrets for any operational impact experienced. Our engineering teams are actively addressing the underlying root cause to prevent future recurrences. Please note that the information provided herein reflects our current understanding as of the time of publication and remains subject to revision as the investigation progresses. A comprehensive Incident Report detailing preventive measures will be issued upon conclusion of our inquiry. If you have experienced impact outside of what is listed below, please reach out to Google Cloud Support using https://cloud.google.com/support. ## Date/Time of the Issue (All time US/Pacific) * Incident Start: 20 August 2026 08:00 * Incident End: 20 August 2026 10:22 * Duration: 2 hours, 22 minutes ## Summary On Thursday, 20 August 2026, multiple Google Cloud services encountered elevated latency, provisioning failures, increased error rates, and service degradations lasting for a duration of 2 hours and 22 minutes. ## Preliminary Root Cause The disruption originated during scheduled fiber optic maintenance, which unexpectedly compromised network capacity between data centers within the us-west1 region. Automated rerouting mechanisms failed to properly redistribute traffic to alternate capacity, resulting in network congestion as volumes exceeded available bandwidth in the affected area. This underlying network degradation subsequently impacted higher-level service components through request throttling, increased latency, and cascading retries. Consequently, both control plane operations and data plane requests failed to execute successfully across several dependent Google Cloud services, producing the observed latency and elevated error rates. ## Remediation Internal monitoring alerted Google engineers to the incident, confirming that multiple services across us-west1 were affected. To mitigate the immediate operational impact, engineers initiated traffic draining protocols, re-routing service workloads away from the degraded network infrastructure. Following the restoration of inter-campus network capacity and the resolution of the core issue, engineers systematically restored traffic to the us-west1 region and confirmed service normalization. Long-term engineering solutions are currently being finalized and assigned to address the root cause and strengthen system resilience regarding fiber maintenance procedures. ## Description of Impact On Thursday, August 20, between 08:00 and 10:22 US/Pacific, Google Cloud customers in the us-west1 region encountered elevated latency, provisioning failures, and increased error rates. * Proportionate Impact / Error Rates: The precise scope of impact—including the proportion of affected projects and applications—and detailed error metrics will be published in the comprehensive Root Cause Analysis, as the reduced capacity caused request throttling, latency spikes, and increased retry volume. * Scope Exclusion: Services and workloads operating in regions other than us-west1 remained fully operational and unaffected. **Affected Services and Features** The following services experienced elevated latencies and/or increased error rates, across their respective data planes and control planes: * AlloyDB * Apache Kafka * Apigee Edge Public Cloud * Apigee X * Artifact Registry * BigQuery & BigQuery Data Transfer Service * Cloud Build * Cloud Data Fusion * Cloud Dataflow * Cloud Filestore * Cloud Key Management Service (KMS) * Cloud Monitoring * Cloud Run * Cloud SQL * Contact Center AI Platform * Dataproc Metastore * Google App Engine * Google Cloud Bigtable * Google Cloud Pub/Sub * Google Cloud Storage (GCS) * Google Compute Engine (GCE) * Google Kubernetes Engine (GKE) * Identity and Access Management (IAM) * Managed Airflow (Cloud Composer) *Managed Service for Apache Spark (Dataproc) Persistent Disk

9. 27 Αυγούστου 2026 στις 9:45 μ.μ. UTCresolved

   # Incident Report ## Summary On Thursday, 20 August 2026, from 08:00 to 10:22 US/Pacific (15:00 to 17:22 UTC), multiple Google Cloud services in the us-west1 region experienced elevated latency, provisioning failures, increased error rates, and widespread service degradations for a total duration of 2 hours and 22 minutes. The incident impacted a wide range of core services — including Persistent Disk, Google Kubernetes Engine, Google Compute Engine, Cloud Run, Google Cloud Bigtable, Cloud Storage, and Identity and Access Management — across both control plane operations and data plane requests. We sincerely apologize for the disruption this incident caused to your business operations and critical workloads. We recognize the vital role Google Cloud plays in supporting your organization, and we deeply regret the impact on your business operations and critical workloads. Engineering and infrastructure teams are actively implementing measures to address the root causes and strengthen network resiliency to prevent recurrences in the future. Specifically, teams are monitoring recovery progress, refining safety checks for planned optical maintenance, and optimizing regional traffic routing mechanisms to safeguard against unexpected capacity constraints. ## Root Cause The disruption originated during scheduled fiber optic maintenance, which unexpectedly compromised network capacity between data centers within the us-west1 region. Automated rerouting mechanisms failed to properly redistribute traffic to alternate capacity, resulting in network congestion as volumes exceeded available bandwidth in the affected area. This underlying network degradation subsequently impacted higher-level service components through severe packet loss, request throttling, and increased latency across inter-campus dependencies. Core infrastructure services, including Spanner Paxos consensus and the Unified Metadata Server (UMS), experienced significant latency spikes, which cascaded into timeouts and elevated error rates for downstream dependent products such as Cloud Storage, Cloud IAM, Persistent Disk, and Google Kubernetes Engine. Consequently, both control plane operations and data plane requests failed to execute successfully across multiple Google Cloud services in us-west1 throughout the duration of the incident. ## Remediation and Prevention Internal monitoring systems initially detected widespread service anomalies and alerted Google engineers, who promptly confirmed that multiple core services operating across the us-west1 region were severely impacted. In response to the immediate operational risks, engineering teams promptly executed emergency traffic draining protocols to reroute active service workloads away from the compromised inter-campus network infrastructure and minimize further customer disruption. Once teams restored inter-campus fiber network capacity, engineers systematically reintroduced production traffic back to us-west1 through controlled validation stages, ultimately confirming full service normalization across all impacted platforms. Longer term engineering remediations and architectural enhancements are actively being finalized and assigned to owning teams. Key focus areas include reforming scheduled maintenance protocols, establishing stricter safety checks and circuit redundancy requirements prior to routine maintenance, and refining automated regional traffic failover mechanisms to automatically handle sudden capacity degradation without incurring severe network congestion. ## Detailed Description of Impact On Thursday, August 20, between 08:00 and 10:22 US/Pacific, Google Cloud customers in the us-west1 region encountered elevated latency, provisioning failures, and increased error rates. * **Impact / Error Rates:** The reduced capacity caused request throttling, latency spikes, and increased retry volume. * **Scope Exclusion:** Services and workloads operating in regions other than us-west1 remained fully operational and unaffected. **Affected Services and Features** The following services experienced elevated latencies and/or increased error rates, across their respective data planes and control planes: * AlloyDB * Apache Kafka * Apigee Edge Public Cloud * Apigee X * Artifact Registry * BigQuery & BigQuery Data Transfer Service * Cloud Build * Cloud Data Fusion * Cloud Dataflow * Cloud Filestore * Cloud Key Management Service (KMS) * Cloud Monitoring * Cloud Run * Cloud SQL * Contact Center AI Platform * Dataproc Metastore * Google App Engine * Google Cloud Bigtable * Google Cloud Pub/Sub * Google Cloud Storage (GCS) * Google Compute Engine (GCE) * Google Kubernetes Engine (GKE) * Identity and Access Management (IAM) * Managed Airflow (Cloud Composer) * Managed Service for Apache Spark (Dataproc) * Persistent Disk The regional incident in us-west1 followed a structured three-phase recovery dictated by platform dependency layers: While core platform connectivity and live request serving were restored by 10:22 US/Pacific, certain services took additional time to fully recover due to asynchronous backlog processing and localized control-plane state reconciliation for a very small set of customers. For event-driven and pipeline services, inbound error rates dropped to 0 immediately, but some operations experienced elevated latency while workers processed through backlogs accumulated during the outage, clearing later for Cloud Pub/Sub, Cloud Build & Deploy, Cloud Dataflow, and Cloud Storage lifecycle deletions. Concurrently, while primary read/write traffic was healthy across the region, specific long-running lifecycle workflows required extra time to clear locks and reconcile distributed state machines. Compute Engine VM provisioning in zone us-west1-c and Cloud Filestore control plane instance allocation locks and resource validation checks took longer to normalize across regional storage backends.

1. 16 Ιουλίου 2026 στις 3:30 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services are experiencing temperature alerts in europe-west4-a. **Description** **GCVE:** Our engineering teams are currently working with data center facility teams to address the rising temperatures. A shutdown has already occurred for some private clouds, and we expect that others will shut down as well. **We recommend shutting down your VMware workload VMs for precaution so that recovery is safer. A shutdown of all systems started at 19:00 PDT \[4:00 Local Time (GMT+2)\]** We will notify you as soon as your Private Cloud has been powered back up and it is safe to restart the VMs. **BMS:** Some Bare Metal Solution servers are experiencing high temperatures and we are in the process of shutting them down. Customers may be unable to access their systems until we resolve the issue. **Google Cloud NetApp Volumes** Our engineering team has proactively shut down ONTAP clusters to protect the data stored on them. Customers may experience unavailability of Cloud NetApp Volumes until this issue is resolved. There is no estimated time for resolution. We will provide an update by Wednesday, 2026-07-15 21:30 PDT with current details. We apologize to all who are affected by the disruption. **Customer Symptoms** **GCVE:** Customers may have already observed a loss of connectivity to their private cloud. As a protective measure for hardware integrity and a recovery, we are shutting down all Private Clouds in this zone. **BMS:** Customers may have already lost connectivity to their BMS machines. As a protective measure for hardware integrity and a recovery, we are shutting down servers in this zone. **Google Cloud NetApp Volumes** Customers may have already lost connectivity to ONTAP clusters, or will lose connectivity to them shortly, as we proactively shut them down for their protection. Only Standard, Premium, and Extreme service levels are affected. **Workaround** There are no workarounds available for this issue at this time. Customers with multi-regional deployments are advised to route traffic to an alternate site.

2. 16 Ιουλίου 2026 στις 4:17 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services are experiencing temperature alerts in europe-west4-a **Description** The datacenter serving europe-west4-a for GCVE, BMS, and NetApp has experienced a power failure, which subsequently caused a cooling failure. Google has proactively turned down workloads in order to protect customer data from any risks posed by running infrastructure in a high temperature environment. The datacenter operator team is working diligently to bring cooling and power back online so we can safely restart affected workloads. **GCVE:** Our engineering teams have shut down private clouds, and we expect that others will shut down as well. We will notify customers as soon as their private cloud has been powered back up and it is safe to restart the VMs. **BMS:** Some Bare Metal Solution servers are experiencing high temperatures and we are in the process of shutting them down. Customers may be unable to access their systems until we resolve the issue. **Google Cloud NetApp Volumes** Our engineering team has proactively shut down ONTAP clusters to protect the data stored on them. Customers may experience unavailability of Cloud NetApp Volumes until this issue is resolved. There is no estimated time for resolution. We will provide an update by Wednesday, 2026-07-15 22:30 PDT with current details. We apologize to all who are affected by the disruption. **Customer Symptoms** **GCVE:** Customers would have already observed a loss of connectivity to their private cloud. As a protective measure for hardware integrity and a recovery, we have shut down all private clouds in this zone. **BMS:** Customers may have already lost connectivity to their BMS machines. As a protective measure for hardware integrity and a recovery, we are shutting down some servers in this zone. **Google Cloud NetApp Volumes** Customers would have already lost connectivity to ONTAP clusters, as we proactively shut them down for their protection. Only Standard, Premium, and Extreme service levels are affected. **Workaround** There are no workarounds available for this issue at this time. Customers with multi-regional deployments are advised to route traffic to an alternate site.

3. 16 Ιουλίου 2026 στις 4:41 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services are experiencing a service outage in europe-west4-a due to a cooling failure **Description** The datacenter serving europe-west4-a for GCVE, BMS, and NetApp has experienced a power failure, which subsequently caused a cooling failure. Google has proactively turned down workloads in order to protect customer data from any risks posed by running infrastructure in a high temperature environment. The datacenter operator team is working diligently to bring cooling and power back online so we can safely restart affected workloads. Some cooling has been restored, and we are working to restore affected workloads as available capacity allows. **GCVE:** Cooling has been restored at the site. As a precautionary measure, our engineering teams had shut down private clouds to protect these clouds from any damage. We are beginning service restoration and will notify customers as soon as their private cloud has been powered back up and it is safe to restart the VMs. **BMS:** Some Bare Metal Solution servers experienced high temperatures and we proactively shut them down. We are starting to bring the servers back online, and will provide an update once they are ready. Customers may be unable to access these systems until service is restored. **Google Cloud NetApp Volumes:** Our engineering team has proactively shut down ONTAP clusters to protect the data stored on them. Customers may experience unavailability of Cloud NetApp Volumes until this issue is resolved. There is no estimated time for resolution. We will provide an update by Wednesday, 2026-07-15 23:30 PDT with current details. We apologize to all who are affected by the disruption. **Customer Symptoms** **GCVE:** Customers would have already observed a loss of connectivity to their private cloud. As a protective measure for hardware integrity and recovery, we have shut down all private clouds in this zone. **BMS:** Customers may have lost connectivity to their BMS machines. As a protective measure for hardware integrity and recovery, we shut down some servers in this zone, and are actively restoring them. Customers may be unable to access these systems until restoration is complete. **Google Cloud NetApp Volumes:** Customers would have already lost connectivity to ONTAP clusters, as we proactively shut them down to protect these clusters from any damage. Only Standard, Premium, and Extreme service levels are affected. **Workaround** There are no workarounds available for this issue at this time. However, customers with multi-regional deployments are advised to route traffic to an alternate site.

4. 16 Ιουλίου 2026 στις 6:29 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services are experiencing a service outage in europe-west4-a due to a cooling failure. **Description** The datacenter serving europe-west4-a for GCVE, BMS, and NetApp has experienced a power failure, which subsequently caused a cooling failure. Google proactively turned down workloads in order to protect customer data from any risks posed by running infrastructure in a high temperature environment. Cooling and power have been restored at the site. The datacenter operator team is now working to safely restart affected workloads. **GCVE:** As a precautionary measure, our engineering teams had shut down private clouds to protect these clouds from any damage. Service restoration is still in progress. We will notify customers as soon as their private cloud has been powered back up and it is safe to restart the VMs. **BMS:** We are continuing to restore servers and monitor their health. Customers may be unable to access these systems until service restoration is complete. **Google Cloud NetApp Volumes:** Our engineering team had proactively shut down ONTAP clusters to protect the data stored on them. Customers may experience unavailability of Cloud NetApp Volumes until this issue is resolved. We will provide an update by Thursday, 2026-07-16 00:30 PDT with current details. **Customer Symptoms** **GCVE:** Customers would have already observed a loss of connectivity to their private cloud. As a protective measure for hardware integrity and recovery, we have shut down all private clouds in this zone. **BMS:** Customers may have lost connectivity to their servers. As a protective measure for hardware integrity and recovery, we shut down some servers in this zone. We are continuing to restore servers and monitor their health. Customers may be unable to access these systems until service restoration is complete. **Google Cloud NetApp Volumes:** Customers would have already lost connectivity to ONTAP clusters, as we proactively shut them down to protect these clusters from any damage. Only Standard, Premium, and Extreme service levels are affected. **Workaround** There are no workarounds available for this issue at this time. However, customers with multi-regional deployments are advised to route traffic to an alternate site.

5. 16 Ιουλίου 2026 στις 7:39 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services are experiencing a service outage in europe-west4-a due to a cooling failure. **Description** The datacenter serving europe-west4-a for GCVE, BMS, and NetApp has experienced a power failure, which subsequently caused a cooling failure. Google proactively turned down workloads in order to protect customer data from any risks posed by running infrastructure in a high temperature environment. Cooling and power have been restored at the site. The datacenter operator team is now working to safely restart affected workloads. **GCVE:** As a precautionary measure, our engineering teams had shut down private clouds to protect these clouds from any damage. Network fabric has been restored, and Private Cloud restoration remains underway. We will notify affected customers once their Private Clouds are restored to allow for VM operational verification. **BMS:** We are continuing to restore servers and monitor their health. Customers may be unable to access these systems until service restoration is complete. **Google Cloud NetApp Volumes:** Our engineering team had proactively shut down ONTAP clusters to protect the data stored on them. Recovery is currently in progress. Customers may experience unavailability of Cloud NetApp Volumes until this issue is resolved. We will provide an update by Thursday, 2026-07-16 01:30 PDT with current details. **Customer Symptoms** **GCVE:** Customers would have already observed a loss of connectivity to their private cloud. As a protective measure for hardware integrity and recovery, we have shut down all private clouds in this zone. **BMS:** Customers may have lost connectivity to their servers. As a protective measure for hardware integrity and recovery, we shut down some servers in this zone. We are continuing to restore servers and monitor their health. Customers may be unable to access these systems until service restoration is complete. **Google Cloud NetApp Volumes:** Customers would have already lost connectivity to ONTAP clusters, as we proactively shut them down to protect these clusters from any damage. Only Standard, Premium, and Extreme service levels are affected. **Workaround** There are no workarounds available for this issue at this time. However, customers with multi-regional deployments are advised to route traffic to an alternate site.

6. 16 Ιουλίου 2026 στις 8:32 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services experienced a service outage in europe-west4-a due to a cooling failure. **Description** The datacenter serving europe-west4-a for GCVE, BMS, and NetApp has experienced a power failure, which subsequently caused a cooling failure. Google proactively turned down workloads in order to protect customer data from any risks posed by running infrastructure in a high temperature environment. Cooling and power have been restored at the site. The datacenter operator team is now validating site stability. **GCVE:** Network fabric has been restored, and Private Cloud restoration remains underway. We are notifying the affected customers as their Private Clouds are restored to allow for VM operational verification. **BMS:** Server restoration is largely complete, with most systems now online and reporting a healthy status. We are actively working through the remaining validation efforts to achieve full recovery. **Google Cloud NetApp Volumes:** Service restoration is complete, and all affected servers are now operational. We continue to monitor these for full service recovery. If customers are still experiencing impact from this issue, please contact Support, and we will work with you to resolve any residual impact. We will provide an update by Thursday, 2026-07-16 02:30 PDT with current details. **Customer Symptoms** **GCVE:** Customers would have observed a loss of connectivity to their private cloud. As a protective measure for hardware integrity and recovery, we had shut down all Private Clouds in this zone. We are in the process of bringing all restored Private Clouds online. **BMS:** Customers may have lost connectivity to their servers. As a protective measure for hardware integrity and recovery, we had shut down some servers in this zone. We are continuing to restore servers and monitor their health. **Google Cloud NetApp Volumes:** Customers would have lost connectivity to ONTAP clusters, as they were proactively shut down to protect these clusters from any damage. Only Standard, Premium, and Extreme service levels were affected. Customers should now be able to access their volumes again. **Workaround** There are no workarounds available for this issue at this time. However, customers with multi-regional deployments are advised to route traffic to an alternate site.

7. 16 Ιουλίου 2026 στις 9:21 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services experienced a service outage in europe-west4-a due to a cooling failure. **Description** The datacenter serving europe-west4-a for GCVE, BMS, and NetApp has experienced a power failure, which subsequently caused a cooling failure. Google proactively turned down workloads in order to protect customer data from any risks posed by running infrastructure in a high temperature environment. Cooling and power have been restored at the site. The datacenter operator team is now validating site stability. **GCVE:** Network fabric has been restored, and Private Cloud restoration remains underway. We are notifying the affected customers as their Private Clouds are restored to allow for VM operational verification. **BMS:** Server restoration is largely complete, with most systems now online and reporting a healthy status. We are actively working through the remaining validation efforts to achieve full recovery. **Google Cloud NetApp Volumes:** Service restoration is complete, and all affected servers are now operational. We continue to monitor these for full service recovery. If customers are still experiencing impact from this issue, please contact Support, and we will work with you to resolve any residual impact. We will provide an update by Thursday, 2026-07-16 03:30 PDT with current details. **Customer Symptoms** **GCVE:** Customers would have observed a loss of connectivity to their private cloud. As a protective measure for hardware integrity and recovery, we had shut down all Private Clouds in this zone. We are in the process of bringing all restored Private Clouds online. **BMS:** Customers may have lost connectivity to their servers. As a protective measure for hardware integrity and recovery, we had shut down some servers in this zone. We are continuing to restore servers and monitor their health. **Google Cloud NetApp Volumes:** Customers would have lost connectivity to ONTAP clusters, as they were proactively shut down to protect these clusters from any damage. Only Standard, Premium, and Extreme service levels were affected. Customers should now be able to access their volumes again. **Workaround** None at this time.

8. 16 Ιουλίου 2026 στις 10:14 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services experienced a service outage in europe-west4-a due to a cooling failure. **Description** The datacenter serving europe-west4-a for GCVE, BMS, and NetApp has experienced a power failure, which subsequently caused a cooling failure. Google proactively turned down workloads in order to protect customer data from any risks posed by running infrastructure in a high temperature environment. Cooling and power have been restored at the site. The issue with GCVE and Google Cloud NetApp Volumes has been resolved for all affected users. We continue to recover the impact for BMS at the moment. **GCVE [Mitigated]:** Service restoration is complete across all the Private Clouds. Customers have been informed about this restoration and requested to verify that their VMs are fully operational. **Google Cloud NetApp Volumes [Mitigated]:** Service restoration is complete, and all affected servers are now operational. We continue to monitor these for full service recovery. **BMS:** Server restoration is largely complete, with most systems now online and reporting a healthy status. We are actively working through the remaining validation efforts to achieve full recovery. For Google Cloud NetApp Volumes and GCVE, if customers are still experiencing impact from this issue, please contact Support, and we will work with you to resolve any residual impact. We will provide the BMS restoration status update by Thursday, 2026-07-16 04:30 PDT with current details. **Customer Symptoms** The issue is now resolved for GCVE and Google Cloud NetApp Volumes. We continue to recover the impact for BMS at the moment. **GCVE [Mitigated]:** Customers would have observed a loss of connectivity to their private cloud. **Google Cloud NetApp Volumes [Mitigated]:** Customers would have lost connectivity to ONTAP clusters, as they were proactively shut down to protect these clusters from any damage. Only Standard, Premium, and Extreme service levels were affected. Customers should now be able to access their volumes again. **BMS:** Customers may have lost connectivity to their servers. As a protective measure for hardware integrity and recovery, we had shut down some servers in this zone. We are continuing to restore servers and monitor their health. **Workaround** None at this time.

9. 16 Ιουλίου 2026 στις 11:39 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services experienced a service outage in europe-west4-a due to a cooling failure. **Description** The datacenter serving europe-west4-a for GCVE, BMS, and NetApp has experienced a power failure, which subsequently caused a cooling failure. Google proactively turned down workloads in order to protect customer data from any risks posed by running infrastructure in a high temperature environment. Cooling and power have been restored at the site. The issue with GCVE and Google Cloud NetApp Volumes has been resolved for all affected users. We continue to recover the impact for BMS at the moment. **GCVE [Mitigated]:** Service restoration is complete across all the Private Clouds. Customers have been informed about this restoration and requested to verify that their VMs are fully operational. **Google Cloud NetApp Volumes [Mitigated]:** Service restoration is complete, and all affected servers are now operational. We continue to monitor these for full service recovery. **BMS:** Server restoration is largely complete, with most systems now online and reporting a healthy status. We are actively working through the remaining validation efforts to achieve full recovery. For Google Cloud NetApp Volumes and GCVE, if customers are still experiencing impact from this issue, please contact Support, and we will work with you to resolve any residual impact. We will provide the BMS restoration status update by Thursday, 2026-07-16 05:30 PDT with current details. **Customer Symptoms** The issue is now resolved for GCVE and Google Cloud NetApp Volumes. We continue to recover the impact for BMS at the moment. **GCVE [Mitigated]:** Customers would have observed a loss of connectivity to their private cloud. **Google Cloud NetApp Volumes [Mitigated]:** Customers would have lost connectivity to ONTAP clusters, as they were proactively shut down to protect these clusters from any damage. Only Standard, Premium, and Extreme service levels were affected. Customers should now be able to access their volumes again. **BMS:** Customers may have lost connectivity to their servers. As a protective measure for hardware integrity and recovery, we had shut down some servers in this zone. We are continuing to restore servers and monitor their health. **Workaround** None at this time.

10. 16 Ιουλίου 2026 στις 12:25 μ.μ. UTCresolved

    **Summary** Google Cloud VMware Engine (GCVE), Google Cloud NetApp Volumes, and Bare Metal Solution (BMS) services experienced a service outage in europe-west4-a due to a cooling failure. **Description** The datacenter serving europe-west4-a for GCVE, BMS, and NetApp has experienced a power failure, which subsequently caused a cooling failure. Google proactively turned down workloads in order to protect customer data from any risks posed by running infrastructure in a high temperature environment. Cooling and power have been restored at the site. The issue with GCVE and Google Cloud NetApp Volumes has been resolved for all affected users as of Thursday, 2026-07-16 02:31 PDT and 01:00 PDT respectively. The issue with BMS is largely resolved and is believed to be affecting a very small number of customers. Our Engineering will continue to recover this residual impact directly with the impacted customers. If you have questions or are still impacted, please open a case with the Support Team and we will work with you until this issue is resolved. **GCVE:** Service restoration is complete across all the Private Clouds. Customers have been informed about this restoration and requested to verify that their VMs are fully operational. **Google Cloud NetApp Volumes:** Service restoration is complete, and all affected servers are now operational. **BMS:** Service restoration is largely complete. We continue working with a very small number of remaining affected customers to achieve full recovery. We thank you for your patience while we continue to fully resolve the issue. **Customer Symptoms** The issue is now resolved for GCVE and Google Cloud NetApp Volumes. The issue with BMS is largely resolved and our engineering will continue to recover this residual impact directly with the impacted customers. **GCVE:** Customers would have observed a loss of connectivity to their private cloud. **Google Cloud NetApp Volumes:** Customers would have lost connectivity to ONTAP clusters, as they were proactively shut down to protect these clusters from any damage. Only Standard, Premium, and Extreme service levels were affected. **BMS:** Customers may have lost connectivity to their servers. As a protective measure for hardware integrity and recovery, we had shut down some servers in this zone. **Workaround** None at this time.

11. 18 Ιουλίου 2026 στις 12:22 π.μ. UTCresolved

    # Preliminary Incident Report We sincerely apologize for the disruption this incident caused to your business. We know how much you rely on Google Cloud, and we regret the impact on your productivity. Please note, this information is based on our best knowledge at the time of posting and is subject to change as our investigation continues. A final Incident Report with preventative actions will be posted once our investigation is complete. If you have experienced impact outside of what is listed below, please reach out to Google Cloud Support using https://cloud.google.com/support. ## Date/Time of the Issue (All time US/Pacific) **Google Cloud VMware Engine Impact:** - Start: 15 July 2026 17:09 - End: 16 July 2026 2:33 - Duration: 9 Hours, 24 Minutes **Google Cloud NetApp Volumes Impact:** - Start: 15 July 2026 16:39 - End: 16 July 2026 01:10 - Duration: 8 Hours 31 Minutes **Bare Metal Solution Impact:** - Start: 15 July 2026 18:37 - End: 16 July 2026 07:34 - Duration: 12 Hours 57 Minutes ## Summary On Wednesday, 15 July 2026, Google Cloud VMware Engine, Bare Metal Solution, and Google Cloud NetApp Volumes experienced service interruptions for a total duration of 14 hours, 55 minutes. We are taking immediate steps to ensure this doesn’t happen again. ## Preliminary Root Cause A regional data center hosting services in europe-west4-a experienced a loss of utility power and subsequent cooling capacity. The sequence of events leading to customer impact was as follows: - An electrical fault occurred on the utility grid upstream of the data center, disrupting the electrical distribution gear and cooling equipment. - The loss of cooling infrastructure resulted in ambient temperatures rising rapidly within the affected data halls. Host servers, storage clusters, and network switches were shut down to prevent equipment damages due to the extreme heat. - The high temperatures in the data hall resulted in disruption to customer workloads and control plane operations across the affected services. Google engineers have begun a full root cause analysis and we will provide additional information once it is available. ## Remediation Google engineering teams were alerted to the issue via automated temperature and hardware unreachability telemetry starting at 16:39 US/Pacific. Engineers collaborated with the third-party facility provider to safely restore primary utility power and cooling systems, returning ambient room temperatures to safe operational levels. With the environment stabilized, field support engineers and remote teams systematically booted and verified the server hosts, storage nodes, and network fabric in a controlled sequence. Automated recovery playbooks were executed to restore underlying network switches and routing infrastructure, allowing storage appliances and compute clusters to be brought back online and verified for health. The underlying infrastructure has been fully recovered, and normal operations have been successfully restored. ## Description of Impact On 15 July 2026 from 16:39 to 16 July 2026 07:34 US/Pacific, customers experienced service disruptions across several products in europe-west4-a zone: - **Google Cloud VMware Engine:** Customers lost connectivity to their private clouds and workloads as foundational hosts and network switches were powered off for thermal protection. - **Bare Metal Solution:** Customers experienced connectivity loss to their database servers and storage appliances as the underlying hardware was powered down. - **Google Cloud NetApp Volumes:** Customers in the STANDARD, PREMIUM, and EXTREME service levels were unable to access their storage volumes. Control plane operations, including the creation of new storage pools, volumes, and backups, experienced failures in the affected region.

12. 25 Ιουλίου 2026 στις 1:16 μ.μ. UTCresolved

    ## \# Incident Report ## \#\# Summary On Wednesday, 15 July 2026, Google Cloud VMware Engine (GCVE), Bare Metal Solution (BMS), and Google Cloud NetApp Volumes (GCNV) experienced service interruptions for a total duration of 14 hours, 55 minutes. The root cause for this outage is a 3ms voltage drop in the power feed from the utility provider and subsequent utility breaker protective action. This incident was mitigated by the data center provider rectifying the failed systems followed by the Google engineering team restoring the services. ## \#\# Root Cause A regional data center hosting services in europe-west4-a experienced an upstream voltage transient affecting both utility power feeds A and B. During this event, the utility breakers on both A and B feeds tripped and initiated the transfer to the back-up power source DRUPS (Diesel Rotary Uninterruptible Power Supply). The transition of side B to DRUPS system was successful without any power interruption. The DRUPS back-up power system for side A failed to take over the facility load due to electrical component failures. The DRUPS failure to take over load initiated automatic transfer of the affected 3 rows from feed A to redundant power feed B. Rows 1 and 2 transferred to power feed B successfully. Row 3 failed to transfer to power feed B and experienced complete power loss due to an overload protection breaker trip. The root cause of the failed transfer on the affected row was identified as load deployment discrepancy which is under further investigation by Google engineering team. This resulted in loss of both redundant power feeds to the single row. During the voltage transient event, the server data hall experienced an increased temperature due to a cooling system failure. The chiller controller dropped offline during the voltage transient event, failing to signal the chilled water distribution pumps to restart and ultimately causing the chiller system A to shut down. The redundant source was not available due to known ongoing construction work at the facility. This resulted in the data hall temperatures reaching 44°C and subsequent shutdown of the affected data hall machines. Google engineering teams initiated machine shutdown procedures for the remainder of reachable devices as part of the cooling emergency shutdown process. A timeline of events during the incident is provided below. ### DataCenter Events | Timestamp(PST) | Event Description | | :---- | :---- | | 07-15-2026 16:24 | An electrical fault occurred on the utility grid upstream of the data center, disrupting the electrical distribution. | | 07-15-2026 16:24 | DRUPS back-up power system for side A failed to take over the data hall load. | | 07-15-2026 16:24 | The chiller controller dropped offline during the voltage transient event causing distribution pumps to stop and unable to restart. | | 07-15-2026 16:37 | Rows 1 and 2 transferred to power feed B successfully. Row 3 failed to transfer to power feed B and lost power. | | 07-15-2026 18:29 | Data hall temperatures reached 44C and crossed the safe machine operating threshold. | | 07-15-2026 19:55 | Machine shutdown procedures implemented. | | 07-15-2026 21:05 | Cooling system fully recovered and temperatures in the data hall returned to normal operating range. | | 07-15-2026 21:24 | Notification about cooling recovery sent by provider | | 07-15-2026 21:46 | Notification about power recovery sent by provider | ### GCVE Timelines | Timestamp(PST) | Event Description | | :---- | :---- | | 07-15-2026 16:30 | GCVE service power monitoring alert received | | 07-15-2026 16:41 | First symptom detected, servers reporting redundancy power feed failure. | | 07-15-2026 17:05 | Switch temperature \>60°C alerts triggered. | | 07-15-2026 17:09 | Start of user impact, first prober alert failure for north south traffic for customers. | | 07-15-2026 19:00 | Server / Network devices shutdown initiated. | | 07-15-2026 19:55 | All reachable server/network devices were shut down. | | 07-15-2026 21:24 | Cooling system fully recovered and temperatures in the datahall were returning to normal operating range. | | 07-15-2026 21:56 | Network restoration started with reachable hydra devices. | | 07-15-2026 22:40 | Onsite technician arrived, to recover the console servers. | | 07-15-2026 23:10 | Console server reboot/recovery complete. | | 07-16-2026 00:33 | Network recovery for all Placement Groups complete. | | 07-16-2026 02:36 | Incident mitigated, after recovering all the customer PCs are fully healthy. | This outage impacted 24 private clouds of 20 distinct customers in europe-west4-a region. ### Bare Metal Solutions (BMS) Timelines | Timestamp(PST) | Event Description | | :---- | :---- | | 07-15-2026 16:41 | First symptom detected, servers and storage reporting redundancy power feed failure | | 07-15-2026 17:52 | Automated monitoring detected rising temperatures | | 07-15-2026 18:37 | Four Netapp SAN storage nodes failed and were shut down due to overheating, resulting in storage availability issue | | 07-15-2026 18:37 | Customer impact started, first server shutdown detected | | 07-15-2026 18:59 | Reserve and buffer servers started to get powered off | | 07-15-2026 20:43 | Drop in the temperature has been detected | | 07-15-2026 20:52 | Four Netapp SAN storage nodes recovered, mitigating storage availability issue | | 07-15-2026 21:05 | The cooling system fully recovered and temperatures in the datahall were returning to normal operating range. | | 07-15-2026 23:23 | First customer server reboot started | | 07-16-2026 06:32 | Last customer server reboot started | | 07-16-2026 08:42 | Incident mitigated. All impacted customer servers were rebooted and confirmed in healthy state. | This outage impacted 9 distinct BMS customers in europe-west4 ### NetApp Timelines | Timestamp(PST) | Event Description | | :---- | :---- | | 07-15-2026 16:32 | Netapp facility remote monitoring alert on high temp and network switches switches failure received | | 07-15-2026 17:32 | All 6 clusters failed and were shut down automatically due to high temperature | | 07-15-2026 21:05 | Cooling capacity restored | | 07-15-2026 22:08 | Cluster recovery process initiated for all 6 clusters. 1st cluster recovered | | 07-15-2026 23:55 | All 6 Netapp Clusters and all customers recovered and validated as healthy & operational | ## \#\# Remediation and Prevention Google engineers were alerted to the infrastructure power loss on Wednesday, 15 July 2026 at 16:30 US/Pacific and subsequent increase in data hall temperatures at 17:44 US/Pacific via our automated monitoring and telemetry, and immediately began investigating. During the voltage transient event, the chillers maintained power but shut down because the distribution pumps failed to restart, resulting in no water flow. The pumps were manually switched from auto to hand mode to restore circulation and cooling. The facility team deployed an interim portable UPS to support the chiller controllers and prevent localized controller power loss. Upon confirmation of utility power restoration, the facility returned to utility power via automatic switching with the exception of two Remote Power Panels (RPPs), which required manual verification before restoration of power to affected server row. To provide full resiliency the facility team aligned a swing DRUPS unit to restore the redundant configuration on the A feed and is working on repairing the faulty DRUPS. To remediate the power loss at Row 3, once the electrical fault was confirmed to be fully isolated, teams reset the tripped breakers, successfully restoring both redundant power to the impacted server racks. Google is committed to preventing a repeat of this issue in the future and is completing the following actions: * Detailed investigation by the engineering team of the sequence of events that prevented transfer of load to DRUPS system and identified system improvements **\[ETA Aug 2026\].** * Determine and resolve the cause of overload conditions that caused power loss to Row 3 **\[ETA Aug 2026\].** * Perform investigation of chiller pump control system redundancy setup to ensure cooling system resiliency **\[ETA Sep 2026\].** * Implement improvements to facility system monitoring alerts for power events and configure early alert thresholds for cooling excursion detection. **\[ETA Aug 2026\].** * The GCVE engineering team is working to improve the automated triggering of shutdown during quickly evolving thermal runoff situations **\[ETA Oct 2026\]**. * The BMS engineering team is working with partner teams to update the incident classification and SLO definitions to improve personnel availability during major datacenter events **\[ETA Sep 2026\]**. * The GCNV engineering team is collaborate with the data center team to review incident handling SLA and runbooks, identify potential future occurrences and create playbooks to address/mitigate them, establish monthly joint emergency drill, and review if the Netapp cluster recovery process can be expedited **\[ETA Aug 2026\].** ## \#\# Detailed Description of Impact On 15 July 2026 from 16:39 to 16 July 2026 07:34 US/Pacific, customers experienced service disruptions across several products in europe-west4-a zone: * **Google Cloud VMware Engine**: Customers lost connectivity to their private clouds and workloads as foundational hosts and network switches were powered off for thermal protection. * **Bare Metal Solution**: Customers experienced connectivity loss to their database servers and storage appliances as the underlying hardware was powered down. * **Google Cloud NetApp Volumes**: Customers in the STANDARD, PREMIUM, and EXTREME service levels were unable to access their storage volumes. Control plane operations, including the creation of new storage pools, volumes, and backups, experienced failures in the affected region.

1. 14 Ιουλίου 2026 στις 8:24 μ.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE) Stretched Cluster customers are experiencing zonal outages impacting network connectivity across multiple regions. **Description** We are experiencing an issue with Google Cloud VMware Engine (GCVE) beginning Tuesday, 2026-07-14 at 10:00 PDT. We are continuing to investigate and mitigate the issue. We believe this disruption is isolated to network connectivity issues for stretch clusters, while Storage and Compute services appear to be unaffected. GCVE VMs are running as expected but customers may experience connectivity issues to the VMs. We will provide another update by Tuesday, 2026-07-14 14:00 PDT with current details. **Customer Symptoms** Some GCVE customers may experience inter-site communication failures to their GCVE environments within the affected zones. **Workaround** None at this time.

2. 14 Ιουλίου 2026 στις 9:31 μ.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE) Stretched Cluster customers are experiencing zonal outages impacting network connectivity across multiple regions. **Description** We are experiencing an inter-site communication issue with Google Cloud VMware Engine (GCVE) stretched cluster customers beginning Tuesday, 2026-07-14 at 10:00 PDT. We have identified the customers that are affected by this issue and we are working with them on mitigation. Our preliminary investigation indicates this is stemming from an underlying network connectivity issue affecting the infrastructure that links the zones within a stretch cluster. This disruption is causing synchronization issues between the affected zones. We believe Storage and Compute services remain unaffected, and VMs are running as expected, though connectivity to them may be degraded. We will provide another update by Tuesday, 2026-07-14 15:00 PDT with current details. **Customer Symptoms** Some GCVE customers using Stretched Cluster may experience inter-site communication failures to their GCVE environments within the affected zones. **Workaround** While we work on restoring full connectivity, we recommend the following workarounds to restore access to your workloads: - VM Migration (recommended): Where possible, migrate your affected VMs to the healthy and unaffected side of the stretch cluster. We strongly recommend consulting with Google Support before proceeding.

3. 14 Ιουλίου 2026 στις 10:16 μ.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE) Stretched Cluster customers are experiencing zonal outages impacting network connectivity across multiple regions. **Description** We are experiencing an inter-site communication issue with Google Cloud VMware Engine (GCVE) stretched cluster customers beginning Tuesday, 2026-07-14 at 10:00 PDT. We have identified the customers that are affected by this issue and we are working with them on mitigation. Our investigation has identified underlying inter-zone communication failures and Border Gateway Protocol (BGP) session flapping between cluster zones. Specifically, network connectivity has been lost between the affected zones and the witness appliance. Because the witness appliance is currently unreachable, the cluster zones are unable to safely synchronize state. As a result, VMs on the affected sites are becoming isolated and may be left without writable data. **Failover / VM Migration:** Migrating affected VMs to the healthy, secondary zone of your stretch cluster remains the primary mitigation strategy. Because of the complexities surrounding failover risks and secondary zone health, we highly encourage you to open a ticket with Google Cloud Support if you are severely impacted. We do not currently have an ETA for resolution. We will provide another update by Tuesday, 2026-07-14 16:00 PDT with current details. **Customer Symptoms** Some GCVE customers using Stretched Cluster may experience inter-site communication failures to their GCVE environments within the affected zones. **Workaround** While we work on restoring full connectivity, we recommend the following workarounds to restore access to your workloads: - VM Migration (recommended): Where possible, migrate your affected VMs to the healthy and unaffected side of the stretch cluster. We strongly recommend consulting with Google Support before proceeding.

4. 14 Ιουλίου 2026 στις 11:05 μ.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE) Stretched Cluster customers are experiencing zonal outages impacting network connectivity across multiple regions. **Description** We are experiencing an inter-site communication issue with Google Cloud VMware Engine (GCVE) stretched cluster customers beginning Tuesday, 2026-07-14 at 10:00 PDT. We have identified the customers that are affected by this issue and we are working with them on mitigation. Our investigation has identified a recent configuration update that is the likely cause of the inter-zone network disruption. Teams are working on remediation. **Failover / VM Migration:** Migrating affected VMs to the healthy, secondary zone of your stretch cluster remains the primary mitigation strategy. Because of the complexities surrounding failover risks and secondary zone health, we highly encourage you to open a ticket with Google Cloud Support if you are severely impacted. We do not currently have an ETA for resolution. We will provide another update by Tuesday, 2026-07-14 17:00 PDT with current details. **Customer Symptoms** Some GCVE customers using Stretched Cluster may experience inter-site communication failures to their GCVE environments within the affected zones. **Workaround** While we work on restoring full connectivity, we recommend the following workarounds to restore access to your workloads: - VM Migration (recommended): Where possible, migrate your affected VMs to the healthy and unaffected side of the stretch cluster. We strongly recommend consulting with Google Support before proceeding.

5. 15 Ιουλίου 2026 στις 12:13 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE) Stretched Cluster customers are experiencing zonal outages impacting network connectivity across multiple regions. **Description** We are experiencing an inter-site communication issue with Google Cloud VMware Engine (GCVE) stretched cluster customers beginning Tuesday, 2026-07-14 at 10:00 PDT. We have identified the customers that are affected by this issue and we are working with them on mitigation. A remediation rollout is currently in progress to address the underlying network issue. **Failover / VM Migration:** Migrating affected VMs to the healthy, secondary zone of your stretch cluster remains the primary mitigation strategy. Because of the complexities surrounding failover risks and secondary zone health, we highly encourage you to open a ticket with Google Cloud Support if you are severely impacted. We do not currently have an ETA for resolution. We will provide another update by Tuesday, 2026-07-14 18:00 PDT with current details. **Customer Symptoms** Some GCVE customers using Stretched Cluster may experience inter-site communication failures to their GCVE environments within the affected zones. Upon further investigation we identified that the northamerica-northeast2 region was not impacted. **Workaround** While we work on restoring full connectivity, we recommend the following workarounds to restore access to your workloads: - VM Migration (recommended): Where possible, migrate your affected VMs to the healthy and unaffected side of the stretch cluster. We strongly recommend consulting with Google Support before proceeding.

6. 15 Ιουλίου 2026 στις 1:15 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE) Stretched Cluster customers are experiencing zonal outages impacting network connectivity across multiple regions. **Description** We are experiencing an inter-site communication issue with Google Cloud VMware Engine (GCVE) stretched cluster customers beginning Tuesday, 2026-07-14 at 10:00 PDT. We have identified the customers that are affected by this issue and we are working with them on mitigation. A remediation rollout is currently in progress to address the underlying network issue. **Failover / VM Migration:** Migrating affected VMs to the healthy, secondary zone of your stretch cluster remains the primary mitigation strategy. Because of the complexities surrounding failover risks and secondary zone health, we highly encourage you to open a ticket with Google Cloud Support if you are severely impacted. We do not currently have an ETA for resolution. We will provide another update by Tuesday, 2026-07-14 19:00 PDT with current details. **Customer Symptoms** Some GCVE customers using Stretched Cluster may experience inter-site communication failures to their GCVE environments within the affected zones. **Workaround** While we work on restoring full connectivity, we recommend the following workarounds to restore access to your workloads: - VM Migration (recommended): Where possible, migrate your affected VMs to the healthy and unaffected side of the stretch cluster. We strongly recommend consulting with Google Support before proceeding.

7. 15 Ιουλίου 2026 στις 1:55 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE) Stretched Cluster customers are experiencing zonal outages impacting network connectivity across multiple regions. **Description** We are experiencing an inter-site communication issue with Google Cloud VMware Engine (GCVE) stretched cluster customers beginning Tuesday, 2026-07-14 at 10:00 PDT. We have identified the customers that are affected by this issue and we are working with them on mitigation. A remediation rollout is currently in progress to address the underlying network issue. **Failover / VM Migration:** Migrating affected VMs to the healthy, secondary zone of your stretch cluster remains the primary mitigation strategy. Because of the complexities surrounding failover risks and secondary zone health, we highly encourage you to open a ticket with Google Cloud Support if you are severely impacted. We do not currently have an ETA for resolution. We will provide another update by Tuesday, 2026-07-14 20:30 PDT with current details. **Customer Symptoms** Some GCVE customers using Stretched Cluster may experience inter-site communication failures to their GCVE environments within the affected zones. **Workaround** While we work on restoring full connectivity, we recommend the following workarounds to restore access to your workloads: - VM Migration (recommended): Where possible, migrate your affected VMs to the healthy and unaffected side of the stretch cluster. We strongly recommend consulting with Google Support before proceeding.

8. 15 Ιουλίου 2026 στις 3:27 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE) Stretched Cluster customers are experiencing zonal outages impacting network connectivity across multiple regions. **Description** We are experiencing an inter-site communication issue with Google Cloud VMware Engine (GCVE) stretched cluster customers beginning Tuesday, 2026-07-14 at 10:00 PDT. We have identified the customers that are affected by this issue and we are working with them on mitigation. A remediation rollout is currently in progress to address the underlying network issue. **Failover / VM Migration:** Migrating affected VMs to the healthy, secondary zone of your stretch cluster remains the primary mitigation strategy. Because of the complexities surrounding failover risks and secondary zone health, we highly encourage you to open a ticket with Google Cloud Support if you are severely impacted. We do not currently have an ETA for resolution. We will provide another update by Tuesday, 2026-07-14 22:00 PDT with current details. **Customer Symptoms** Some GCVE customers using Stretched Cluster may experience inter-site communication failures to their GCVE environments within the affected zones. **Workaround** While we work on restoring full connectivity, we recommend the following to restore access to your workloads: * VM Migration (recommended): Where possible, migrate your affected VMs to the healthy and unaffected side of the stretch cluster. We strongly recommend consulting with Google Cloud Support before proceeding.

9. 15 Ιουλίου 2026 στις 5:34 π.μ. UTCresolved

   **Summary** Google Cloud VMware Engine (GCVE) Stretched Cluster customers may have experienced zonal outages impacting network connectivity across multiple regions. **Description** We experienced an inter-site communication issue with Google Cloud VMware Engine (GCVE) Stretched Cluster customers beginning Tuesday, 2026-07-14 at 10:00 PDT. We identified the affected customers, and have worked with them to fully mitigate the issue by Tuesday, 2026-07-14 at 21:46 PDT. Preliminary analysis indicates that a network configuration update was the cause of the inter-zone network disruption. Our engineering team mitigated the issue by rolling back the faulty configuration to its last-known good value. If customers are still experiencing impact from this issue, please contact Support, and we will work with you to resolve any residual impact. We thank you for your patience while we worked to resolve this issue. **Customer Symptoms** Some GCVE customers using Stretched Cluster may have experienced inter-site communication failures to their GCVE environments within the affected zones. **Workaround** The issue is now mitigated.

10. 20 Ιουλίου 2026 στις 6:31 μ.μ. UTCresolved

    ## Preliminary Incident Report We sincerely apologize for the disruption this incident caused to your business. We know how much you rely on Google Cloud, and we regret the impact on your productivity. We are working to address the root cause and prevent this from occurring in the future. Please note, this information is based on our best knowledge at the time of posting and is subject to change as our investigation continues. A final Incident Report with preventative actions will be posted once our investigation is complete. If you have experienced impact outside of what is listed below, please reach out to Google Cloud Support using [**https://cloud.google.com/support**](https://cloud.google.com/support). ## Date/Time of the Issue (All time US/Pacific) Incident Start: 14 July 2026 10:00 Incident End: 14 July 2026 20:40 Duration: 10 hours, 40 minutes ## Summary On Tuesday, 14 July 2026, Google Cloud VMware Engine (GCVE) Stretched Cluster customers in the australia-southeast2 and europe-west3 zones experienced inter-site communication failures. The disruption was traced to a network configuration update that introduced a conflict, causing inter-site communication failures, which triggered VMware Stretch Cluster failover events. Google engineers successfully mitigated the disruption by rolling back the configuration change. ## Preliminary Root Cause A configuration change deployed within the Google Cloud network affected traffic between the VMware Engine stretched cluster zones. This resulted in a loss of connectivity between zones in the stretched cluster deployment. Google engineers are doing a full root cause analysis and will provide additional information once it is available. ## Remediation To stabilize the environment, engineers identified the working network paths and deployed configuration changes to reroute traffic and restore connectivity. GCVE stretch cluster inter-zonal connectivity was completely restored for all supported locations on Tuesday, 14 July 2026 at 20:40 US/Pacific. ## Description of Impact On Tuesday, 14 July 2026 from 10:00 to 20:40 US/Pacific, customers utilizing GCVE stretch clusters in the affected zones (australia-southeast2, and europe-west3) experienced inter-site communication failures. For some customers, depending on their architecture, this disruption led to VMWare HA event causing VM restarts/movement across zones as designed, Host disconnects, VSAN alarms and Intermittent access to VMware Management (vCenter/NSX Manager) components. ---

11. 24 Ιουλίου 2026 στις 7:10 π.μ. UTCresolved

    ## Incident Report ## Summary On Tuesday, 14 July 2026 10:00 PT, Google Cloud VMware Engine (GCVE) Stretched Cluster customers in the australia-southeast2 and europe-west3 zones experienced inter-site communication failures. The disruption was traced to a network configuration update that introduced a conflict, causing inter-site communication failures, which triggered VMware Stretched Cluster failover events. Google engineers successfully mitigated the impact by rolling back the issue-causing configuration change and resetting the network state. We sincerely apologize for the disruption this incident caused to your business. We know how much you rely on Google Cloud, and we regret the impact on your productivity. We are working to address the root cause and prevent this from occurring in the future. ## Root Cause A network configuration update intended to prepare the cloud network infrastructure for new capabilities was deployed to the foundational network control plane. While the configuration payload itself was structurally valid, it exposed an implementation gap within the control plane's routing logic. This logical gap caused the underlying network hosts to misconfigure program routing tables. As a result, traffic destined for the private IP address space used by GCVE Stretched Clusters was dropped. Because Stretched Clusters rely on this private address space to establish routing sessions for inter-zonal connectivity, the traffic drops severed communications between the active zones of the clusters, triggering VMware High Availability (HA) failovers. Standard routing health-checking protocols, such as Border Gateway Protocol (BGP) and Bidirectional Forwarding Detection (BFD), remained fully functional because their control plane sessions run on separate, unaffected address spaces. Because the control plane remained healthy, standard failover mechanisms failed to detect that the selective private IP range used for inter-zonal data tunneling was being dropped. Automated safeguards did not block the deployment because the configuration passed initial payload validations. The impact only manifested once the update began routing data traffic through the specific affected IP range. ## Remediation and Prevention To stabilize the environment, engineers identified the working network paths and deployed configuration changes to reroute traffic and restore connectivity. GCVE Stretched Cluster inter-zonal connectivity was completely restored for all supported locations on Tuesday, 14 July 2026 at 20:40 US/Pacific. Google is committed preventing a repeat of this issue in the future and is completing the following actions: * **Expanded Testing:** We are adding more detailed GCVE network setups to our existing testing environments. This allows us to automatically test future network updates against these configurations before they go live. * **Service-Level Data Path Failover:** We are implementing additional service-level data path failover mechanisms that actively probe the specific data-tunneling traffic space. This will ensure a path failover is triggered if the data plane itself is degraded even when the BGP control plane remains functional. * **Detailed Alerting**: We are adding faster, more specific alerts for connection issues between zones. This builds on our current platform monitoring to catch minor disruptions early and speed up our response. * **Improved Cluster Resilience:** We are fine-tuning the cluster's high-availability and storage settings. This makes virtual machines more resilient to short network drops, preventing them from restarting unnecessarily if the main site is still healthy. * **Workload Resilience Alignment (Shared Responsibility):** We are proactively reaching out to customers utilizing non-vSAN replicated virtual machine configurations within Stretched Clusters. Because these workloads are pinned to a single zone without active cross-site replication, they cannot survive inter-site network disruptions. We are ready to assist customers in auditing their storage policies, adjusting Stretched Cluster configurations, and planning the secondary zone capacity required to enable robust high-availability failovers. ## Detailed Description of Impact On Tuesday, 14 July 2026 from 10:00 to 20:40 US/Pacific, customers utilizing GCVE Stretched Clusters in the affected zones (australia-southeast2, and europe-west3) experienced inter-site communication failures. For some customers, depending on their architecture, this disruption led to a VMWare HA event causing VM restarts/movement across zones as designed, host disconnects, VSAN alarms and intermittent access to VMware Management (vCenter/NSX Manager) components.

1. 10 Ιουνίου 2026 στις 1:13 π.μ. UTCresolved

   **Summary** Network traffic to Google Cloud originating from Delhi, Chennai, Mumbai and surrounding areas is experiencing intermittent periods of elevated latency and possible packet loss. **Description** A fire at a third-party data center facility required an emergency power shutdown of networking equipment, isolating a non-compute local Point of Presence (POP) in Delhi and reducing available network capacity in the metro area. We rerouted significant traffic from the impacted facility in Delhi to address reduced local serving capabilities. As a result, a subset of Hybrid Connectivity and Virtual Private Cloud (VPC) customers may be impacted by the routing changes made to address reduced local, latency-optimized serving capabilities in Delhi. Affected customers may experience intermittent latency spikes due to demand exceeding capacity across Indian metros and regional ISPs. We are investigating additional traffic mitigations and Internet Edge peering augmentation to alleviate the latency issues affecting our customers. We will provide our next update by Wednesday, 2026-06-10 17:00 PDT. **Symptoms** Customers may experience slightly elevated latency and non-optimal network routing into Google Cloud until the affected facility is fully restored. **Workaround** There is no workaround at this time.

2. 10 Ιουνίου 2026 στις 10:25 μ.μ. UTCresolved

   **Summary** Network traffic to Google Cloud originating from Delhi, Chennai, Mumbai and surrounding areas is experiencing intermittent periods of elevated latency and possible packet loss. **Description** A fire at a third-party data center facility required an emergency power shutdown of networking equipment, isolating a non-compute local Point of Presence (POP) in Delhi and reducing available network capacity in the metro area. We rerouted significant traffic from the impacted facility in Delhi to address reduced local serving capabilities. As a result, a subset of Hybrid Connectivity and Virtual Private Cloud (VPC) customers may be impacted by the routing changes made to address reduced local, latency-optimized serving capabilities in Delhi. Affected customers may experience intermittent latency spikes due to demand exceeding capacity across Indian metros and regional ISPs. We are investigating additional traffic mitigations and Internet Edge peering augmentation to alleviate the latency issues affecting our customers. We are continuing to work with the ISP partners in the region to mitigate any additional impact from unplanned failures. We will provide our next update by Thursday, 2026-06-11 17:00 PDT. **Symptoms** Customers may experience slightly elevated latency and non-optimal network routing into Google Cloud until the affected facility is fully restored. **Workaround** There is no workaround at this time.

3. 11 Ιουνίου 2026 στις 11:25 μ.μ. UTCresolved

   **Summary** Network traffic to Google Cloud originating from Delhi, Chennai, Mumbai and surrounding areas is experiencing intermittent periods of elevated latency and possible packet loss. **Description** A fire at a third-party data center facility required an emergency power shutdown of networking equipment, isolating a non-compute local Point of Presence (POP) in Delhi and reducing available network capacity in the metro area. We rerouted significant traffic from the impacted facility in Delhi to address reduced local serving capabilities. As a result, a subset of Hybrid Connectivity and Virtual Private Cloud (VPC) customers may be impacted by the routing changes made to address reduced local, latency-optimized serving capabilities in Delhi. Affected customers may experience intermittent latency spikes due to demand exceeding capacity across Indian metros and regional ISPs. Initial traffic mitigations have yielded positive results for some Cloud customers. In parallel, we are pursuing additional Internet Edge peering capacity to reduce existing fragility in the metro. We are also optimizing capacity across network backbones to increase additional headroom for VPC customers in the affected region. Additionally, we are planning to augment our local Delhi POP and migrating select peering partners to further increase regional capacity. We will continue to closely monitor latency deviations and packet drops. We will provide our next update by Friday, 2026-06-12 at 17:00 PDT. **Symptoms** Customers may experience slightly elevated latency and non-optimal network routing into Google Cloud until the affected facility is fully restored. **Workaround** There is no workaround at this time.

4. 12 Ιουνίου 2026 στις 10:50 μ.μ. UTCresolved

   **Summary** Network traffic to Google Cloud originating from Delhi, Chennai, Mumbai and surrounding areas is experiencing intermittent periods of elevated latency and possible packet loss. **Description** A fire at a third-party data center facility required an emergency power shutdown of networking equipment, isolating a non-compute local Point of Presence (POP) in Delhi and reducing available network capacity in the metro area. We rerouted significant traffic from the impacted facility in Delhi to address reduced local serving capabilities. As a result, a subset of Hybrid Connectivity and Virtual Private Cloud (VPC) customers may be impacted by the routing changes made to address reduced local, latency-optimized serving capabilities in Delhi. Affected customers may experience intermittent latency spikes due to demand exceeding capacity across Indian metros and regional ISPs. Initial traffic mitigations have yielded positive results for some Cloud customers. In parallel, we are pursuing additional Internet Edge peering capacity to reduce latency in the local Delhi metropolitan area. Further, we are augmenting out-of-region Internet Edge regional peering capacity in Chennai to provide additional load-balancing and redundancy to large ISPs in India (expected to be done by Wednesday, 2026-06-17 PDT). We have optimized capacity across network backbones to increase available headroom. Additionally, we are further augmenting our Delhi backbone capacity (expected to be complete by Monday, 2026-06-15 PDT). We will continue to closely monitor latency deviations and packet drops. We will provide our next update by Monday, 2026-06-15 17:00 PDT. **Symptoms** Customers may experience slightly elevated latency and non-optimal network routing into Google Cloud until the affected facility is fully restored. **Workaround** There is no workaround at this time.

5. 15 Ιουνίου 2026 στις 11:11 μ.μ. UTCresolved

   **Summary** Network traffic to Google Cloud originating from Delhi, Chennai, Mumbai and surrounding areas is experiencing intermittent periods of elevated latency and possible packet loss. **Description** A fire at a third-party data center facility required an emergency power shutdown of networking equipment, isolating a non-compute local Point of Presence (POP) in Delhi and reducing available network capacity in the metro area. We rerouted significant traffic from the impacted facility in Delhi to address reduced local serving capabilities. As a result, a subset of Hybrid Connectivity and Virtual Private Cloud (VPC) customers may be impacted by the routing changes made to address reduced local, latency-optimized serving capabilities in Delhi. Affected customers may experience intermittent latency spikes due to demand exceeding capacity across Indian metros and regional ISPs. Media CDN customers may have experienced higher latencies than normal. Initial traffic mitigations have yielded positive results for some Cloud customers. We have restored a portion of Internet Edge peering capacity to reduce latency in the local Delhi metropolitan area. Further, we are augmenting out-of-region Internet Edge regional peering capacity in Chennai to provide additional load-balancing and redundancy to large ISPs in India (expected to be done by Wednesday, 2026-06-17 PDT). We have optimized capacity across network backbones to increase available headroom. Additionally, we have augmented our Delhi backbone capacity over the weekend. We will continue to closely monitor latency deviations and packet drops. We will provide our next update by Wednesday, 2026-06-17 at 17:00 PDT. **Symptoms** Customers may experience slightly elevated latency and non-optimal network routing into Google Cloud until the affected facility is fully restored. **Workaround** There is no workaround at this time.

6. 17 Ιουνίου 2026 στις 10:36 μ.μ. UTCresolved

   **Summary** Network traffic to Google Cloud originating from Delhi, Chennai, Mumbai and surrounding areas is experiencing intermittent periods of elevated latency and possible packet loss. **Description** Traffic rerouting from the impacted Delhi facility has caused a subset of Hybrid Connectivity and Virtual Private Cloud (VPC) customers to experience intermittent latency spikes as demand exceeds regional capacity. Media CDN customers may also notice increased latencies. Initial traffic mitigations have yielded positive results for some Cloud customers. We have restored a portion of Internet Edge peering capacity to reduce latency in the local Delhi metropolitan area. Further, we are nearly finished with the augmentation of out-of-region Internet Edge regional peering capacity in Chennai to provide additional load-balancing and redundancy to large ISPs in India. We have optimized capacity across network backbones to increase available headroom. Additionally, we have augmented our Delhi backbone capacity. We have also restored additional capacity between Delhi-Chennai and Delhi-Mumbai. We will continue to closely monitor latency deviations and packet drops. We will provide our next update by Monday, 2026-06-22 17:00 PDT. **Symptoms** Customers may experience slightly elevated latency and non-optimal network routing into Google Cloud until the affected facility is fully restored. **Workaround** There is no workaround at this time.

7. 22 Ιουνίου 2026 στις 11:51 μ.μ. UTCresolved

   **Summary** Network traffic to Google Cloud originating from Delhi, Chennai, Mumbai and surrounding areas is experiencing intermittent periods of elevated latency and possible packet loss. **Description** Traffic rerouting from the impacted Delhi facility has caused a subset of Hybrid Connectivity and Virtual Private Cloud (VPC) customers to experience intermittent latency spikes as demand exceeds regional capacity. Media CDN customers may also notice increased latencies. Initial traffic mitigations have yielded positive results for some Cloud customers. We have restored a large portion of Internet Edge peering capacity to reduce latency in the local Delhi metropolitan area. Since the last update, we have completed the augmentation of out-of-region Internet Edge regional peering capacity in Chennai to provide additional load-balancing and redundancy to large ISPs in India. Following safety clearance, teams obtained access to the damaged site and will further restore additional incremental user-facing backbone capacity on Tuesday, 2026-06-23. We have optimized capacity across network backbones to increase available headroom, and augmented our Delhi user-facing backbone capacity. We will continue to closely monitor latency deviations and packet drops. We will provide our next update by Tuesday, 2026-06-23 at 17:00 PDT. **Symptoms** Customers may experience slightly elevated latency and non-optimal network routing into Google Cloud until the affected facility is fully restored. **Workaround** There is no workaround at this time.

8. 23 Ιουνίου 2026 στις 10:52 μ.μ. UTCresolved

   **Summary** Network traffic to Google Cloud originating from Delhi, Chennai, Mumbai and surrounding areas is experiencing intermittent periods of elevated latency and possible packet loss. **Description** Traffic rerouting from the impacted Delhi facility has caused a subset of Hybrid Connectivity and Virtual Private Cloud (VPC) customers to experience intermittent latency spikes as demand exceeds regional capacity. Media CDN customers may also notice increased latencies. Initial traffic mitigations have yielded positive results for some Cloud customers. We have restored a large portion of Internet Edge peering capacity to reduce latency in the local Delhi metropolitan area. Since the last update, we have completed the augmentation of out-of-region Internet Edge regional peering capacity in Chennai to provide additional load-balancing and redundancy to large ISPs in India. Following safety clearance, our team has accessed the damaged site and is continuing to restore additional capacity throughout this week. We have optimized capacity across network backbones to increase available headroom and augmented our Delhi user-facing backbone capacity. We will continue to closely monitor latency deviations and packet drops. We will provide our next update by Monday, 2026-06-29 at 17:00 PDT. **Symptoms** Customers may experience slightly elevated latency and non-optimal network routing into Google Cloud until the affected facility is fully restored. **Workaround** There is no workaround at this time.

9. 29 Ιουνίου 2026 στις 11:06 μ.μ. UTCresolved

   **Summary** Network traffic to Google Cloud originating from Delhi, Chennai, Mumbai and surrounding areas experienced intermittent periods of elevated latency and possible packet loss. **Description** Traffic rerouting from the impacted Delhi facility caused a subset of Hybrid Connectivity, Virtual Private Cloud (VPC) and Media CDN customers to experience intermittent latency spikes as demand exceeded regional capacity. We completed the augmentation of out-of-region Internet Edge regional peering capacity in Chennai to provide additional load-balancing and redundancy to large ISPs in India. Service to a large portion of Internet Edge peering capacity has been restored to reduce latency in the local Delhi metropolitan area. We are now recovered and returned to normal service as of Friday, 2026-06-26 PDT. Following safety clearance, our team restored all lost capacity. We have restored capacity between Delhi-Chennai and Delhi-Mumbai and will continue to closely monitor latency deviations and packet drops. We thank you for your patience during the resolution of this issue. **Symptoms** The impacted customers may have experienced slightly elevated latency and non-optimal network routing into Google Cloud. **Workaround** None

1. 27 Φεβρουαρίου 2026 στις 4:12 μ.μ. UTCresolved

   **Description** \ Between Friday, 2026-02-27, 04:36 and 06:45 PST, customers experienced increased error rates when accessing the Vertex Gemini API Global endpoint. The issue impacted API requests to multiple Gemini models. The incident also caused downstream impact to Dialogflow CX, Agent Assist, Google Cloud Support AI agent, and Customer Experience Agent Studio, which rely on Gemini APIs. Preliminary analysis indicates the issue was triggered by a recent configuration change. Service was fully restored after the configuration change was rolled back. We thank you for your patience while we worked on resolving the issue. **Symptom** \ Customers experienced increased error rates when sending API requests to impacted multiple Gemini models through the global endpoint.

2. 4 Μαρτίου 2026 στις 11:23 μ.μ. UTCresolved

   # Preliminary Incident Report We apologize for the inconvenience this service disruption may have caused. We would like to provide some information about this incident below. Please note, this information is based on our best knowledge at the time of posting and is subject to change as our investigation continues. A final Incident Report with preventative actions will be posted once our investigation is complete. If you have experienced impact outside of what is listed below, please reach out to Google Cloud Support using https://cloud.google.com/support. ## Date/Time of the Issue (All time US/Pacific) Incident Start: 27 February 2026 04:37 Incident End: 27 February 2026 06:35 Duration: 1 hour, 58 minutes ## Summary On Friday, 27 February 2026 at 04:37 US/Pacific, customers using Vertex AI Gemini API models (including Gemini 2.0, 2.5, and 3.0 previews) experienced increased error rates. Impacted services included Google Cloud Support, Agent Assist, the Vertex Gemini API and Dialogflow CX in US regions and the global endpoint for a duration of 1 hour and 58 minutes. This is not the level of quality and reliability we strive to offer you, and we are taking immediate steps to improve the platform’s performance and availability. ## Preliminary Root Cause This incident was caused by a configuration change to a safety filtering service that supports all Gemini models. This configuration change enabled a code path that interacted poorly with specific requests, leading to service disruption for the safety filtering service. This in turn led to customers seeing overload (429 and 503) errors for their queries. Google engineers have begun a full root cause analysis and will provide additional information once it is available. ## Remediation Google engineers were alerted to the service disruption via automated alert on Friday, 27 February 2026 04:54 US/Pacific and immediately started an investigation. Engineers identified the faulty configuration change for a safety filtering service and initiated a rollback to restore the previous stable configuration. Additionally, engineers added more capacity to the service. Full service restoration was confirmed by 06:35 US/Pacific as the rollback propagated and servers became healthy. ## Description of Impact On Friday, 27 February 2026 between 04:37 and 06:35 US/Pacific, customers accessing Vertex Gemini APIs may have experienced the following: - Affected Models: All Gemini versions were affected, including gemini-2.5-flash, gemini-2.5-flash-lite, gemini-2.5-pro, gemini-3.0-flash-preview, gemini-3.0-pro-preview, gemini-2.0-flash, gemini-2.0-flash-lite. - Error Experience: - PayGo Customers: Experienced primarily 429 Resource Exhausted errors. - Provisioned Throughput (PT) Customers: Received 503 Service Unavailable errors. - For PT customers, most errors stopped at 06:00. For PayGo customers, most errors stopped at 06:20. - Geographic Scope: Global endpoint, us-central1, us-east4, and other US regions were impacted.

3. 9 Μαρτίου 2026 στις 5:25 π.μ. UTCresolved

   # Incident Report ## Summary On Friday, 27 February 2026 at 04:37 US/Pacific, customers using Vertex AI Gemini API models experienced increased error rates. Impacted services included Google Cloud Support, Agent Assist, Vertex Gemini API and Dialogflow CX in US regions and the global endpoint. The issue persisted for a duration of 1 hour and 58 minutes. This is not the level of quality and reliability we strive to offer you, and we have taken immediate steps to improve the platform’s performance and availability. ## Root Cause This incident was caused by a configuration change to a safety filtering service that supports all Gemini models. For some specific requests, this created code paths that eventually led to service disruptions and capacity loss for the safety filtering service. Consequently, customers encountered overload (429 and 503) errors for their queries, with some users reporting elevated error rates for specific models in US regions. ## Remediation and Prevention Google engineers were alerted to the issue via our automated monitoring system on Friday, 27 February 2026 04:54 US/Pacific and immediately started an investigation. Engineers identified the faulty configuration change and initiated a rollback to restore the previous stable configuration. Engineers also added more capacity to the service to stabilize it. Full service restoration was confirmed by 06:35 US/Pacific as the rollback propagated and servers became healthy. \ \ Google is committed to preventing a repeat of this issue and is taking the following actions: * Reinforcing rollout processes to include mandatory validation checkpoints. * Improving alerting systems to monitor critical dependencies more closely. ## ## Detailed Description of Impact On Friday, 27 February 2026 between 04:37 and 06:35 US/Pacific, customers accessing Vertex Gemini APIs may have experienced the following: * **Affected Models:** All Vertex AI Gemini API models were affected, including gemini-2.5-flash, gemini-2.5-flash-lite, gemini-2.5-pro, gemini-3.0-flash-preview, gemini-3.0-pro-preview, gemini-2.0-flash, gemini-2.0-flash-lite. * **Error Experience:** * **PayGo Customers:** Experienced primarily 429 Resource Exhausted errors. * **Provisioned Throughput (PT) Customers:** Received 503 Service Unavailable errors. * For PT customers, most errors stopped at **06:00**. For PayGo customers, most errors stopped at **06:20**. * **Geographic Scope:** Global endpoint, us-central1, us-east4, and other US regions were impacted.

1. 18 Ιουλίου 2025 στις 3:54 μ.μ. UTCresolved

   We're currently experiencing elevated latency and error rates for several Cloud services in the us-east1 region, beginning at 7:06 AM PDT today, July 18, 2025. Our initial investigation points to a hardware infrastructure failure as the likely cause. We apologize for any disruption this may be causing. We'll provide an update with more details by 9:15 AM PDT today.

2. 18 Ιουλίου 2025 στις 4:29 μ.μ. UTCresolved

   Our engineers have confirmed that us-east1-b is partially affected. All other zones in us-east1 are currently operating normally. Our engineers have recovered the failed hardware and are currently recovering the network control plane in the affected zones. We'll provide another update by 10:00 AM US/Pacific, July 18, 2025.

3. 18 Ιουλίου 2025 στις 4:58 μ.μ. UTCresolved

   Our engineers have successfully recovered the network control plane in the affected us-east1 zones. We're seeing multiple services reporting full recovery, and product engineers are now validating the remaining services. We'll provide another update with more details by 10:30 AM US/Pacific, July 18, 2025.

4. 18 Ιουλίου 2025 στις 5:32 μ.μ. UTCresolved

   Our engineers have successfully recovered the network control plane in the affected us-east1 zones. We're seeing multiple services reporting full recovery, and product engineers continue to validate the remaining services. We'll provide another update with more details by 11:00 AM US/Pacific, July 18, 2025.

5. 18 Ιουλίου 2025 στις 6:03 μ.μ. UTCresolved

   The issue has been resolved for all affected products as of 2025-07-18 09:47 US/Pacific. From preliminary analysis, during a routine maintenance of our network in us-east1-b, we experienced elevated packet loss, causing service disruption in the zone. We will publish a full Incident Report with root cause once we have completed our internal investigations. We thank you for your patience while we worked on resolving the issue.

6. 18 Ιουλίου 2025 στις 10:08 μ.μ. UTCresolved

   # Mini Incident Report We apologize for the inconvenience this service disruption/outage may have caused. We would like to provide some information about this incident below. Please note, this information is based on our best knowledge at the time of posting and is subject to change as our investigation continues. If you have experienced impact outside of what is listed below, please reach out to Google Cloud Support using https://cloud.google.com/support or to Google Workspace Support using help article https://support.google.com/a/answer/1047213. (All Times US/Pacific) **GCP Impact start and end time:** 18 July 2025 08:10 - 09:47 **Duration:** 1 hour 37 minutes **GWS Impact start and end time:** 18 July 2025 08:10 - 08:40 **Duration:** 30 minutes **Regions/Zones:** us-east1 **Description:** On Friday, 18 July 2025 08:10 US/Pacific multiple GCP and GWS products experienced elevated latencies and error rates in the us-east1 region for a duration of up to 1 hour and 37 minutes. Based on the preliminary analysis, the root cause of the issue is a procedural error during a planned hardware maintenance in one of our data centers in the us-east1 region. Our engineering team mitigated the issue by draining traffic away from the clusters and then restoring the affected hardware. Google will be completing a full incident report in the following days that will provide a full root cause and preventive actions. **Customer Impact:** The affected GCP and GWS products experienced elevated latencies and errors rates in the us-east1 region. **Affected Products:** **GCP :** AlloyDB for PostgreSQL, Apigee, Artifact Registry, Cloud Armor, Cloud Billing, Cloud Build, Cloud External Key Manager, Cloud Filestore, Cloud HSM, Cloud Key Management Service, Cloud Load Balancing, Cloud Monitoring, Cloud Run, Cloud Spanner, Cloud Storage for Firebase, Cloud Workflows, Database Migration Service, Dialogflow CX, Dialogflow ES, Google BigQuery, Google Cloud Dataflow, Google Cloud Dataproc, Google Cloud Storage, Google Cloud Support, Google Cloud Tasks, Google Compute Engine, Hybrid Connectivity, Media CDN, Network Telemetry, Private Service Connect, Secret Manager, Service Directory, Vertex AI Online Prediction, Virtual Private Cloud (VPC) **Workspace :** Gmail, Google Meet, Google Drive, Google Chat, Google Calendar, Google Groups, Google Doc/Editors, Google Voice **Google SecOps:** Google SecOps SOAR & Google SecOps

7. 22 Ιουλίου 2025 στις 1:42 μ.μ. UTCresolved

   ## \# Incident Report ## \#\# Summary On Friday, 18 July 2025 07:50 US/Pacific, several Google Cloud Platform (GCP) and Google Workspace (GWS) products experienced elevated latencies and error rates in the us-east1 region for a duration of up to 1 hour and 57 minutes. **GCP Impact Duration:** 18 July 2025 07:50 \- 09:47 US/Pacific : 1 hour 57 minutes **GWS Impact Duration:** 18 July 2025 07:50 \- 08:40 US/Pacific : 50 minutes We sincerely apologize for this incident, which does not reflect the level of quality and reliability we strive to offer. We are taking immediate steps to improve the platform’s performance and availability. ## ## \#\# Root Cause The service interruption was triggered by a procedural error during a planned hardware replacement in our datacenter. An incorrect physical disconnection was made to the active network switch serving our control plane, rather than the redundant unit scheduled for removal. The redundant unit had been properly de-configured as part of the procedure, and the combination of these two events led to partitioning of the network control plane. Our network is designed to withstand this type of control plane failure by failing open, continuing operation. However, an operational topology change while the network control plane was in a failed open state caused our network fabric's topology information to become stale. This led to packet loss and service disruption until services were moved away from the fabric and control plane connectivity was restored. ## \#\# Remediation and Prevention Google engineers were alerted to the outage by our monitoring system on 18 July 2025 07:06 US/Pacific and immediately started an investigation. The following timeline details the remediation and restoration efforts: * **07:39 US/Pacific**: The underlying root cause (device disconnect) was identified and onsite technicians were engaged to reconnect the control plane device and restore control plane connectivity. At that moment, network failure open mechanisms worked as expected and no impact was observed. * **07:50 US/Pacific**: A topology change led to traffic being routed suboptimally, due to the network being in a fail open state. This caused congestion on the subset of links, packet loss, and latency to customer traffic. Engineers made a decision to move traffic away from the affected fabric, which mitigated the impact for the majority of the services. * **08:40 US/Pacific**: Engineers mitigated Workspace impact by shifting traffic away from the affected region. * **09:47 US/Pacific**: Onsite technicians reconnected the device, control plane connectivity was fully restored and all services were back to stable state. Google is committed to preventing a repeat of the issue in the future, and is completing the following actions: * Pause non-critical workflows until safety controls are implemented (complete). * Strengthen safety controls for hardware upgrade workflows by end of Q3 2025\. * Design and implement a mechanism to prevent control plane partitioning in case of dual failure of upstream routers by end of Q4 2025\. ## \#\# Detailed Description of Impact \#\#\# GCP Impact: Multiple products in us-east1 were affected by the loss of network connectivity, with the most significant impacts seen in us-east1-b. Other regions were not affected. The outage caused a range of issues for customers with zonal resources in the region, including packet loss across VPC networks, increased error rates and latency, service unavailable (503) errors, and slow or stuck operations up to loss of networking connectivity. While regional products were briefly impacted, they recovered quickly by failing over to unaffected zones. A small number (0.1%) of Persistent Disks in us-east1-b were unavailable for the duration of the outage: these disks became available once the outage was mitigated, with no customer data loss. \#\#\# GWS Impact: A small subset of Workspace users, primarily around the Southeast US, experienced varying degrees of unavailability and increased delays across multiple products, including Gmail, Google Meet, Google Drive, Google Chat, Google Calendar, Google Groups, Google Doc/Editors, and Google Voice.