Ιστορικό διακοπών του Pubnub

1. 26 Οκτωβρίου 2026 στις 9:14 μ.μ. UTCinvestigating

   Οι χρήστες μπορεί να βιώνουν αυξημένα λάθη με αναγνώστες της Ιστορίας στο σημείο της παρουσίας της Φρανκφούρτης. Εργαζόμαστε για την αποκατάσταση και θα το επικαιροποιήσουμε καθώς σημειώνουμε πρόοδο. Αν πιστεύετε ότι επηρεάζεστε και θέλετε να συζητήσετε, παρακαλούμε επικοινωνήστε με το [email protected]

2. 26 Οκτωβρίου 2026 στις 9:17 μ.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα. Αν αισθάνεστε ότι έχετε επηρεαστεί από αυτό, παρακαλούμε επικοινωνήστε με το [email protected].

3. 26 Οκτωβρίου 2026 στις 9:46 μ.μ. UTCresolved

   Το περιστατικό λύθηκε. Αν αισθάνεστε ότι σας επηρέασε, παρακαλούμε επικοινωνήστε με το [email protected].

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 26 Οκτωβρίου 2026 στις 9:07 μ.μ. UTCinvestigating

   Οι χρήστες μπορεί να βιώνουν αυξημένα ποσοστά σφάλματος και λανθάνουσας συχνότητας με το API Παρουσίας. Εργαζόμαστε για την αποκατάσταση και θα το επικαιροποιήσουμε καθώς σημειώνουμε πρόοδο. Αν πιστεύετε ότι επηρεάζεστε και θέλετε να συζητήσετε, παρακαλούμε επικοινωνήστε με το [email protected]

2. 26 Οκτωβρίου 2026 στις 9:12 μ.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση για το θέμα αυτό και παρακολουθούμε τα αποτελέσματα. Αν αισθάνεστε ότι έχετε επηρεαστεί από αυτό, παρακαλούμε επικοινωνήστε με το [email protected].

3. 26 Οκτωβρίου 2026 στις 9:17 μ.μ. UTCmonitoring

   Συνεχίζουμε να παρακολουθούμε για τυχόν περαιτέρω ζητήματα.

4. 26 Οκτωβρίου 2026 στις 9:55 μ.μ. UTCresolved

   Το περιστατικό λύθηκε και θα το ερευνήσουμε μετά θάνατον. Εάν έχετε ερωτήσεις ή ανησυχίες, παρακαλούμε επικοινωνήστε με το [email protected].

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 22 Οκτωβρίου 2026 στις 4:02 μ.μ. UTCinvestigating

   Οι χρήστες μπορεί να βιώνουν αυξημένα ποσοστά λάθους και καθυστέρησης από τα σημεία παρουσίας της Φρανκφούρτης και της Βομβάης. Εργαζόμαστε για την αποκατάσταση και θα το επικαιροποιήσουμε καθώς σημειώνουμε πρόοδο. Αν επηρεαστείτε, επικοινωνήστε με το [email protected].

2. 22 Οκτωβρίου 2026 στις 4:12 μ.μ. UTCidentified

   Το θέμα έχει εντοπιστεί και υλοποιείται μια λύση.

3. 22 Οκτωβρίου 2026 στις 4:19 μ.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα. Αν σας επηρέασε αυτό το ζήτημα, ή αν αισθάνεστε ότι εξακολουθείτε να σας επηρεάζει, παρακαλούμε επικοινωνήστε με το [email protected].

4. 22 Οκτωβρίου 2026 στις 4:35 μ.μ. UTCresolved

   Το περιστατικό λύθηκε. Αν αισθάνεστε ότι σας επηρέασε, παρακαλούμε επικοινωνήστε με το [email protected].

5. 26 Οκτωβρίου 2026 στις 9:36 μ.μ. UTCpostmortem

   **Περιγραφή προβλήματος, πρόσκρουση και ανάλυση ** Στις 22 Οκτωβρίου, από περίπου 14:45 έως 16:13 UTC, οι χρήστες της Φρανκφούρτης \(FRA\) και της Βομβάης \(BOM\) σημεία παρουσίας μπορεί να έχουν δει αυξημένα ποσοστά σφάλματος και λανθάνουσα λανθάνουσας λανθάνουσας παρουσίας κλήσεις API. Άλλες υπηρεσίες PubNub δεν επηρεάστηκαν. Το θέμα ξεκίνησε κατά τη διάρκεια μιας ενημέρωσης λογισμικού στην υπηρεσία Παρουσία στη Φρανκφούρτη. Η νέα έκδοση δεν ήταν συμβατή με την προηγούμενη έκδοση ενώ και οι δύο έτρεχαν ταυτόχρονα. Αυτό έκανε τους διακομιστές της Παρουσίας στην περιοχή να επανεκκινήσουν επανειλημμένα, και τα αιτήματα που δεν μπορούσαν να φτάσουν σε έναν υγιή διακομιστή επέστρεψαν λάθη. Η ομάδα μας αναγνώρισε την ενημέρωση ως αιτία και την γύρισε πίσω. Η υπηρεσία επανήλθε στο φυσιολογικό στις 16:13 UTC περίπου. **Βήματα και προτεινόμενα μελλοντικά προληπτικά μέτρα ** Επιδιορθώνουμε το ασυμβίβαστο πριν αυτή η ενημέρωση κυκλοφορήσει και πάλι. Προσθέτουμε επίσης δοκιμές που τρέχουν παλιές και νέες εκδόσεις δίπλα-δίπλα πριν από κάθε έκδοση Παρουσίας, κυλώντας ενημερώσεις μια ζώνη διαθεσιμότητας κάθε φορά, και βελτιώνοντας τη διαδικασία αναστροφής μας έτσι ώστε να μην τρέχει ασύμβατες εκδόσεις μαζί.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 22 Οκτωβρίου 2026 στις 1:11 π.μ. UTCinvestigating

   Ένα σφάλμα στην ενημέρωση των πιστοποιητικών ασφαλείας μπορεί να προκαλεί ορισμένους πελάτες να βιώσουν την έκδοση σύνδεσης. Ερευνούμε και θα ενημερωθούμε καθώς ανακαλύπτουμε περισσότερα.

2. 22 Οκτωβρίου 2026 στις 1:17 π.μ. UTCinvestigating

   Συνεχίζουμε να ερευνούμε αυτό το ζήτημα.

3. 22 Οκτωβρίου 2026 στις 1:55 π.μ. UTCidentified

   Έχουμε εντοπίσει το ζήτημα και είμαστε καλά σε αποκατάσταση. Παρακαλώ επικοινωνήστε με το [email protected] αν αντιμετωπίζετε προβλήματα.

4. 22 Οκτωβρίου 2026 στις 2:12 π.μ. UTCmonitoring

   Ολοκληρώσαμε την αποκατάσταση αυτού του ζητήματος. Ο αντίκτυπος ήταν μικρός: μόνο ένας τελικός χρήστης ανέφερε ένα πρόβλημα, αλλά παρακολουθούμε για επιπλέον αντίκτυπο. Παρακαλώ επικοινωνήστε με το [email protected] αν έχετε κάποιο σχετικό θέμα να αναφέρετε.

5. 22 Οκτωβρίου 2026 στις 2:47 π.μ. UTCresolved

   Δεν είχαμε πρόσθετες εκθέσεις σχετικά με αυτό το θέμα. Αν αισθάνεστε ότι σας επηρέασε, παρακαλούμε επικοινωνήστε με το [email protected]. Θα ακολουθήσει νεκροψία.

6. 26 Οκτωβρίου 2026 στις 9:30 μ.μ. UTCpostmortem

   **Περιγραφή προβλήματος, πρόσκρουση και ανάλυση ** Από τις 19:26 UTC στις 21 Οκτωβρίου έως περίπου 02:04 UTC στις 22 Οκτωβρίου, ορισμένα τελικά σημεία PubNub εξυπηρετούσαν πιστοποιητικά TLS που είχε ανακαλέσει η αρχή πιστοποίησης μας. Πελάτες που ελέγχουν την ανάκληση πιστοποιητικού θα μπορούσαν να έχουν αποτύχει να συνδεθούν με τα επηρεασμένα τελικά σημεία κατά τη διάρκεια αυτού του παραθύρου. Η αρχή πιστοποίησης διαπίστωσε ότι περίπου 400.000 πιστοποιητικά που είχε εκδώσει περιείχαν πληροφορίες πολιτικής που δεν αντιστοιχούσαν στην δημοσιευμένη πολιτική πιστοποιητικών. Τα πιστοποιητικά δεν τέθηκαν σε κίνδυνο, αλλά οι κανόνες της βιομηχανίας απαιτούν την ανάκληση και την αντικατάστασή τους. Τα πιστοποιητικά του PubNub για το \*.pubnub.com, \*.pubnub.net, \*.pndsn.com και \*.pubnubapi.com ήταν μεταξύ αυτών και ανακλήθηκαν στις 21 Οκτωβρίου. Τα πιστοποιητικά αντικατάστασής μας δεν χρησιμοποιήθηκαν σε όλα τα τελικά μας σημεία μέχρι να τεθεί σε ισχύ η ανάκληση. Οι πελάτες που δεν ελέγχουν την ανάκληση πιστοποιητικού δεν επηρεάστηκαν, ούτε και οι συνδέσεις με την προεπιλεγμένη προέλευση SDK [ps.pndsn.com] (http://ps.pndsn.com). Μας ειδοποίησε ένας τελικός χρήστης ενός πελάτη μας. Καταθέσαμε τα πιστοποιητικά αντικατάστασης σε όλες τις περιφέρειες, συμπληρώνοντας περίπου στις 02:04 UTC στις 22 Οκτωβρίου. Τα ονόματα υποδοχής και η ημερομηνία λήξης πιστοποιητικού \ (7 Ιανουαρίου 2027\) αμετάβλητα. **Βήματα και προτεινόμενα μελλοντικά προληπτικά μέτρα ** Προσθέτουμε παρακολούθηση που ειδοποιεί την ομάδα επιχειρήσεων μας σε περίπτωση ανάκλησης οποιουδήποτε πιστοποιητικού που υπηρετούμε. Αλλάζουμε επίσης τη διαδικασία αντικατάστασης των πιστοποιητικών μας, έτσι ώστε οι αντικαταστάσεις να χρησιμοποιούνται για την παραγωγή αμέσως μόλις εκδοθεί, και έτσι ώστε οι ενημερώσεις πιστοποιητικών να φτάσουν σε όλες τις περιοχές γρηγορότερα.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 9 Οκτωβρίου 2026 στις 6:45 μ.μ. UTCresolved

   Ξεκινώντας από τις 17:32 UTC στις 9 Οκτωβρίου 2026 παρατηρήσαμε αυξημένα ποσοστά σφάλματος 5XX και λανθάνουσα λανθάνουσα λανθάνουσα λανθάνουσα στο τελικό σημείο Εγγραφής παγκοσμίως. Το ζήτημα επιλύθηκε μέχρι τις 18:18 UTC και οι υπηρεσίες έχουν επιστρέψει σε κανονικά επίπεδα. Ένας περιορισμένος αριθμός πελατών μπορεί να έχει επηρεαστεί. Μια ανάλυση της βασικής αιτίας θα δημοσιευθεί τις επόμενες ημέρες. Ζητάμε ειλικρινά συγγνώμη για κάθε αντίκτυπο που μπορεί να προκάλεσε αυτό. Εάν αισθάνεστε ότι επηρεάστηκε και θέλετε να συζητήσετε, παρακαλούμε στείλτε email [email protected].

2. 14 Οκτωβρίου 2026 στις 5:19 μ.μ. UTCpostmortem

   **Περιγραφή προβλήματος, πρόσκρουση και ανάλυση ** Στις 9 Οκτωβρίου 2026, μεταξύ 17:30 και 18:20 UTC, παρατηρήσαμε αυξημένα σφάλματα HTTP 5xx που επηρεάζουν το καταληκτικό σημείο Εγγραφής για ένα υποσύνολο πελατών. Ορισμένες αιτήσεις εγγραφής μπορεί να έχουν αποτύχει, και ένα υποσύνολο μηνυμάτων μπορεί να έχει καθυστερήσει ή να μην έχει παραδοθεί σε πραγματικό χρόνο. Δεν χάθηκαν μηνύματα, και οι πελάτες με το μήνυμα Επιμονή ενεργοποιημένη θα μπορούσε να ανακτήσει τα επηρεασμένα μηνύματα από την Ιστορία. Το περιστατικό προκλήθηκε από μια απροσδόκητη αύξηση της κυκλοφορίας από μια δοκιμή φορτίου υψηλού όγκου έναντι ενός συνόλου κλειδιών ανάπτυξης που δεν είχαν τα αναμενόμενα όρια. Το φορτίο που προέκυψε εξάντλησε προσωρινά τη μνήμη σε κάποια κοινή υποδομή, η οποία προκάλεσε το ζήτημα. Σταθεροποιήσαμε την πληγείσα υποδομή εφαρμόζοντας ένα όριο ταχύτητας στο σύνολο κλειδιών που παράγει το υπερβολικό φορτίο. Η υπηρεσία επανήλθε στο φυσιολογικό κατά 18:20 UTC. **Βήματα και προτεινόμενα μελλοντικά προληπτικά μέτρα ** Εφαρμόσαμε ένα προσωρινό όριο ποσοστού δημοσίευσης για να περιορίσουμε την απρόσμενη κυκλοφορία και να αποκαταστήσουμε την υπηρεσία, διατηρώντας παράλληλα τη διαθεσιμότητα του πληγέντος συνόλου κλειδιών. Για να βοηθήσει στην πρόληψη παρόμοιων συμβάντων, η PubNub προσθέτει πρόσθετους ελέγχους για να διασφαλίσει ότι εφαρμόζονται ορθά οι διασφαλίσεις για τον εντοπισμό και τον αυτόματο περιορισμό ασυνήθιστα μεγάλου φορτίου, πριν να μπορεί να επηρεάσει και άλλες μεταφορές που μοιράζονται την ίδια υποδομή. Ενημερώνουμε επίσης τις επιχειρησιακές διαδικασίες για τη μνήμη των συνδρομητών και τις αλλαγές αυτόματης κλιμάκωσης για να διασφαλίσουμε ότι οι προσαρμογές της χωρητικότητας παραμένουν αποτελεσματικές κατά τη διάρκεια του μετριασμού των περιστατικών.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 25 Αυγούστου 2026 στις 1:22 μ.μ. UTCinvestigating

   Από τις 12:15 UTC, οι χρήστες στο US East PoP μας βιώνουν σήμερα ένα πρόβλημα με την υπηρεσία Δημοσίευσης και Εγγραφής που προκαλεί κάποια μηνύματα να μην εμφανίζονται σε κλήσεις προς την υπηρεσία αυτή. Δεν επιστρέφονται λάθη από την υπηρεσία, παρά τα μηνύματα που δεν επιστρέφονται σωστά. Ερευνούμε το θέμα.

2. 25 Αυγούστου 2026 στις 2:10 μ.μ. UTCmonitoring

   Από τις 13:55 UTC, το ζήτημα που αφορά τις υπηρεσίες Δημοσίευσης και Εγγραφής στο US East PoP έχει μετριαστεί. Η συνθετική παρακολούθηση έχει επανέλθει στο φυσιολογικό και δεν έχουν ανιχνευθεί παραλείψιμα μηνύματα. Το περιστατικό πιστεύεται ότι σχετίζεται με αποτυχία παρακολούθησης. Περαιτέρω έρευνα συνεχίζεται και η υπηρεσία εξακολουθεί να παρακολουθείται στενά.

3. 25 Αυγούστου 2026 στις 2:51 μ.μ. UTCresolved

   Χωρίς να παρατηρηθούν περαιτέρω ζητήματα τα τελευταία 30 λεπτά, το περιστατικό έχει επιλυθεί. Θα συνεχίσουμε σύντομα με μια ανάλυση της βασικής αιτίας. Εάν πιστεύετε ότι βιώσατε έναν αντίκτυπο που σχετίζεται με αυτό το περιστατικό, παρακαλούμε να το αναφέρετε στην υποστήριξη PubNub στο [email protected].

4. 28 Αυγούστου 2026 στις 5:46 μ.μ. UTCpostmortem

   **Περιγραφή προβλήματος, πρόσκρουση και ανάλυση ** Την Τρίτη 25 Αυγούστου 2026, στις 12:10 UTC, η εσωτερική μας παρακολούθηση μας ειδοποίησε για ένα ζήτημα όπου ένα πολύ μικρό υποσύνολο μηνυμάτων εντός μιας ζώνης διαθεσιμότητας μιας περιοχής \(το σημείο παρουσίας μας στην Ανατολή των ΗΠΑ\) μπορεί να μην έχει παραδοθεί αμέσως σε συνδρομητές στην ίδια περιοχή. Όλα τα μηνύματα επιμένουν κανονικά μέσα στην υπηρεσία PubNub Persistence, ** έτσι δεν χάθηκαν δεδομένα μηνυμάτων.** Η κυκλοφορία προς ή από οποιαδήποτε άλλη περιοχή ή AZ δεν επηρεάστηκε και καμία άλλη υπηρεσία PubNub δεν επηρεάστηκε. Δεν ανέφεραν επιπτώσεις οι πελάτες. Αιτίες για τα σκουπίδια Κατά τη διάρκεια προγραμματισμένων δοκιμών εσωτερικού φορτίου, μια ομάδα διακομιστών εσωτερικής δρομολόγησης αφαιρέθηκε από την υπηρεσία. Λόγω ελαττώματος διαμόρφωσης, οι διευθύνσεις δικτύου τους δεν αποσύρθηκαν πλήρως και παρέμειναν κρυμμένες από το εκδοτικό μας στρώμα. Αυτό δεν παρουσίαζε κανένα πρόβλημα ως επί το πλείστον. Ωστόσο, μια διεύθυνση μετατέθηκε στη συνέχεια σε ένα μη συνδεδεμένο εσωτερικό συστατικό που ανταποκρίθηκε κανονικά στο ίδιο πρωτόκολλο και θύρα. Επειδή η απάντηση αυτή φάνηκε επιτυχής, το επίπεδο δημοσίευσης δεν έλαβε λάθος, και τα μηνύματα που εστάλησαν σε αυτή τη διεύθυνση δρομολογήθηκαν λανθασμένα. Μια κυλιόμενη επανεκκίνηση των επηρεαζόμενων διακομιστών εκκαθάρισε τις ξεπερασμένες διευθύνσεις στις 13:25 UTC. **Βήματα και προτεινόμενα μελλοντικά προληπτικά μέτρα ** * Μόλις αναγνωρίστηκαν οι εξυπηρετητές που επηρεάστηκαν, πραγματοποιήθηκε μια κυλιόμενη επανεκκίνηση για να εκκαθαριστούν οι ξεπερασμένες διευθύνσεις δρομολόγησης. * Μετά από μια έρευνα που επιβεβαίωσε τη βασική αιτία, μια ρύθμιση που εξασφαλίζει ξεπερασμένες εσωτερικές διευθύνσεις δρομολόγησης σωστά αποσύρθηκε αναπτύχθηκε σε όλους τους διακομιστές δημοσίευσης παγκοσμίως στις 25 Αυγούστου 2026 στις 22:00 UTC.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 14 Αυγούστου 2026 στις 2:29 μ.μ. UTCresolved

   Από τις 13:55 έως τις 14:15 UTC, οι χρήστες παγκοσμίως μπορεί να έχουν παρουσιάσει σφάλματα με αποτυχία κατά την Δημοσίευση, και τα δημοσιευμένα μηνύματα μπορεί να μην έχουν ληφθεί από τους συνδρομητές. Επίσης αντιμετωπίσαμε λάθη και αποτυχίες με τις Λειτουργίες PubNub, και καθυστερήσεις με Εκδηλώσεις & Δράσεις κατά τη διάρκεια της περιόδου. Οι υπηρεσίες επέστρεψαν στο φυσιολογικό και παρακολουθούμε ενεργά. Μια ανάλυση της βασικής αιτίας θα δημοσιευθεί τις επόμενες ημέρες. Εάν πιστεύετε ότι σας επηρέασε και θα θέλατε να μιλήσετε μαζί μας, παρακαλούμε αναφέρετε τον αντίκτυπο στο [email protected].

2. 20 Αυγούστου 2026 στις 4:57 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  At approximately **13:55 UTC on Aug 14, 2026**, we observed elevated publish errors and message replication failures in our publish/subscribe service, which also caused latency in other PubNub services globally. Customers may have experienced increased publish error rates, delayed or missed message delivery, delayed message persistence, and increased latency for Functions and Events & Actions workflows. ‌The root cause of the incident was an unusually large concentration of global publish traffic that was not limited by our throttling layers. That traffic created resource pressure in the publish and replication layers, increased load on storage systems, and caused downstream processing delays in dependent services. We mitigated the issue by adjusting targeted traffic controls, increasing capacity for affected publish and replication components, and isolating the high-volume traffic pattern to reduce broader platform impact. The issue was resolved at approximately **14:15 UTC on Aug 14, 2026**. ‌This issue occurred because of an issue with our automated controls specific to this exceptional traffic pattern. As a result, the increased load affected multiple services before a mitigation could be fully applied.  ### **Mitigation Steps and Recommended Future Preventative Measures** To prevent a similar issue from occurring in the future, we have isolated the identified high-volume traffic pattern onto dedicated infrastructure and also increased baseline capacity for the affected components across our PoPs. We are also further strengthening our traffic detection and management processes for this exceptional load pattern so it will be identified and contained earlier without cascading impact across dependent services.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 10 Ιουνίου 2026 στις 8:14 μ.μ. UTCinvestigating

   Starting at 17:00 UTC on June 10, a subset of publishes originating from the North America POP failed to replicate to subscribers globally. PubNub Technical Staff is investigating, and more information will be posted as it becomes available.

2. 10 Ιουνίου 2026 στις 8:27 μ.μ. UTCmonitoring

   The PubNub Technical Staff identified that failures are limited to publishes from US-East and has identified, have applied a fix, and are now monitoring the results. If you are experiencing issues that you believe to be related to this incident, please report the details to PubNub Support ([email protected]).

3. 10 Ιουνίου 2026 στις 8:45 μ.μ. UTCresolved

   Services have returned to normal. A root cause analysis will be published in the coming days. If you believe you were impacted and would like to speak with us, please report impact to [email protected].

4. 15 Ιουνίου 2026 στις 11:58 μ.μ. UTCpostmortem

   ## Problem Description, Impact, and Resolution  At 19:50 UTC on June 10, 2026, we observed a small fraction of publishes originating from US-EAST-1 failing to replicate to subscribers globally. We removed the degraded publisher pod from service and the issue was resolved at 21:21 UTC on June 10, 2026.  The root cause of the incident was triggered by a single process that fell into a degraded state where it continued receiving inbound traffic and passing health checks, but traffic sent outbound from the process was failing at an abnormally high rate. Our automated health check/recovery system did not auto-detect and replace the degraded process because its health check API reported itself as healthy.  ## Mitigation Steps and Recommended Future Preventative Measures  To prevent a similar issue from occurring in the future, we are improving the data within our health check APIs to return more complete performance metrics over a rolling time window. We are enhancing the issue detection logic to detect more patterns that infer process failure, even if the process itself is reporting as healthy.

1. 9 Ιουνίου 2026 στις 2:00 μ.μ. UTCresolved

   From 13:20 to 13:48 UTC, users globally may have experienced errors with failure on Publish, and published messages may not have been received by subscribers. We also experienced errors and failures with PubNub Functions, and delays with Events & Actions during the period. Services have returned to normal and we are actively monitoring. A root cause analysis will be published in the coming days. If you believe you were impacted and would like to speak with us, please report impact to [email protected].

2. 12 Ιουνίου 2026 στις 6:31 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  At approximately **13:20 UTC on June 9, 2026**, we observed elevated publish errors and message replication failures in our publish/subscribe service, which also caused latency in other PubNub services globally. Customers may have experienced increased publish error rates, delayed or missed message delivery, delayed message persistence, and increased latency for Functions and Events & Actions workflows. ‌ The root cause of the incident was an unusually large concentration of global publish traffic that was not limited by our throttling layers. That traffic created resource pressure in the publish and replication layers, increased load on storage systems, and caused downstream processing delays in dependent services. We mitigated the issue by adjusting targeted traffic controls, increasing capacity for affected publish and replication components, and isolating the high-volume traffic pattern to reduce broader platform impact. The issue was resolved at approximately **13:48 UTC on June 9, 2026**. ‌ This issue occurred because we did not have sufficient automated controls and isolation processes in place to protect shared infrastructure from this type of exceptional traffic pattern. As a result, the increased load affected multiple services before mitigation could be fully applied.  ‌ ### **Mitigation Steps and Recommended Future Preventative Measures** To prevent a similar issue from occurring in the future, we have isolated the identified high-volume traffic pattern onto dedicated infrastructure and also increased baseline capacity for the affected components across our PoPs. ‌ We are also further strengthening our traffic detection and management processes for exceptional load patterns so they can be identified and contained earlier without cascading impact across dependent services.

1. 24 Μαρτίου 2026 στις 8:21 μ.μ. UTCinvestigating

   As of 19:27 UTC, we are investigating reports of connectivity issues affecting a subset of subscriptions across several global regions. While the majority of the PubNub network is operating normally, users on the affected segment may experience: - Connection delays and increased latency. - Intermittent errors when subscribing to channels. Our engineering team has identified the cause and is actively working to restore stability. We will provide updates as soon as more information is available.

2. 24 Μαρτίου 2026 στις 9:12 μ.μ. UTCresolved

   The incident has been resolved. If you believe you were impacted by the incident and wish to discuss it with our team, please contact us by email at [email protected]

3. 25 Μαρτίου 2026 στις 10:35 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  On March 24, 2026, at 19:27 UTC, one network shard experienced intermittent connectivity affecting a subset of customers. The affected users may have experienced elevated latency and temporary error responses related to their subscription requests. The instability was caused by an atypical surge in message volume within a shared processing environment that had improperly configured resource limits. This led to high resource utilization and triggered automated system restarts. PubNub Engineering resolved the issue by implementing the proper limits after expanding infrastructure capacity to accommodate the increased load. Service was fully stabilized once the environment was tuned to the new traffic profile. ### **Mitigation Steps and Recommended Future Preventative Measures**  **Infrastructure Tuning:** Adjusted automated scaling parameters to provide greater headroom for rapid traffic fluctuations. **Enhanced Traffic Management:** Deployed refined monitoring heuristics to better isolate and manage high-volume traffic patterns without impacting shared resources. **Dynamic Resource Allocation:** Accelerating the rollout of enhanced vertical scaling technology to allow individual processing nodes to adapt more fluidly to demand spikes. **Operational Coordination:** Strengthening internal protocols for high-capacity events to ensure large-scale traffic shifts are proactively transitioned to dedicated environments.

1. 1 Ιανουαρίου 2026 στις 12:25 π.μ. UTCinvestigating

   Starting at 12:13AM GMT, we began seeing delays in published messages being written to history storage. Users may be unable to access recently stored messages through History API calls. The messages will eventually be published. Our engineers are actively working to address the issue and we will provide updates here. If you feel your service has been impacted and you would like to discuss, please email [email protected].

2. 1 Ιανουαρίου 2026 στις 12:44 π.μ. UTCmonitoring

   A fix has been applied and we are monitoring the results. Published messages waiting on queue to be written to history have now been successfully written. We will continue to monitor for the next 15 minutes.

3. 1 Ιανουαρίου 2026 στις 1:00 π.μ. UTCresolved

   The incident has been resolved. Published messages continue to be written to history storage normally. No messages were lost during the incident. If you believe you were impacted by the incident and wish to discuss it with our team, please contact us by email at [email protected]

4. 5 Ιανουαρίου 2026 στις 5:01 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  On January 1, 2026 at 00:00 UTC, we observed elevated latency in our History service across multiple regions. Customers may have experienced delays in message persistence and history availability during this period. The issue was caused by a mismatch in newly created persistence tables. Specifically, required columns for message metadata were missing from the new tables, resulting in failed write operations and backed-up queues. This created downstream pressure on our storage systems, leading to higher latency in history processing. We mitigated the issue by manually applying the correct updates across all affected persistence spaces. After the updates were applied, message processing returned to normal and queue latency cleared. This issue occurred because we did not have proper controls in place to ensure schema consistency for newly generated monthly persistence tables. ### **Mitigation Steps and Recommended Future Preventative Measures**  To resolve the issue, we manually applied the required schema updates globally. In the coming days, we will update our change management processes to ensure schema changes are correctly applied to all future monthly tables. We are also auditing our schema tracking and automating validation to prevent inconsistencies across environments. These improvements will ensure that future table generation includes all necessary columns and reduce the risk of similar issues impacting History service performance.

1. 20 Νοεμβρίου 2025 στις 5:36 μ.μ. UTCresolved

   Increased errors (5XX) observed On Nov. 20, 2025 between 16:36 UTC and 16:48 UTC, publish and replication errors (5xx) were observed in North American and Asia Pacific regions, and immediately resolved. Please contact [email protected] if you believe you were impacted by the issue and would like to discuss it with our team.

2. 25 Νοεμβρίου 2025 στις 1:05 π.μ. UTCpostmortem

   **Problem Description, Impact, and Resolution** Starting at 16:46 UTC on Nov. 20, 2025, we noticed a small number of errors with the publish API in the North American and Asia Pacific regions. The system automatically recovered with all functionality fully restored by 16:50 UTC on Nov. 20, 2025.

1. 20 Οκτωβρίου 2025 στις 1:37 μ.μ. UTCinvestigating

   Beginning at 12:40 UTC, we observed increased latency and errors in our US-West region for multiple services. PubNub Technical Staff is currently investigating, and more updates will follow once available.

2. 20 Οκτωβρίου 2025 στις 1:47 μ.μ. UTCinvestigating

   We are continuing to investigate this issue.

3. 20 Οκτωβρίου 2025 στις 2:21 μ.μ. UTCinvestigating

   Apologies, but we are continuing to investigate this issue.

4. 20 Οκτωβρίου 2025 στις 3:13 μ.μ. UTCidentified

   We are still working with our infrastructure provider to mitigate the effects of the ongoing issues. We have been monitoring and handling traffic to minimize disruptions. While points of presence in the US may see slightly higher latencies, we are stable. Please reach out to PubNub support to report issues.

5. 20 Οκτωβρίου 2025 στις 4:43 μ.μ. UTCidentified

   We are still stable, but seeing minor issues. We are still working with our infrastructure provider to address the remaining issues. Please reach out to PubNub support with any issues.

6. 20 Οκτωβρίου 2025 στις 5:25 μ.μ. UTCmonitoring

   PubNub remains stable and fully operational. Our infrastructure provider is continuing to apply mitigation steps to restore normal health across their network and related services. We are closely monitoring the situation and coordinating with them to ensure continued stability. Please reach out to PubNub Support if you experience any service issues.

7. 20 Οκτωβρίου 2025 στις 5:25 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

8. 20 Οκτωβρίου 2025 στις 6:00 μ.μ. UTCidentified

   PubNub continues to remains stable, with only minor issues being observed. Our infrastructure provider is making progress in restoring their services, with early signs of recovery in several regions. We continue to work closely with them as they complete mitigations across the remaining areas. Please reach out to PubNub Support if you experience any impact.

9. 20 Οκτωβρίου 2025 στις 6:37 μ.μ. UTCidentified

   PubNub remains stable, with only minor issues being observed. Our infrastructure provider is making progress in restoring their services, with early signs of recovery in several regions. We continue to work closely with them as they complete mitigations across the remaining areas. Please reach out to PubNub Support if you experience any impact.

10. 20 Οκτωβρίου 2025 στις 7:06 μ.μ. UTCidentified

    Our status is the same: stable, and working with our infrastructure provider to restore services to their normal state. Our normal policy is to update every 30 minutes, but we will stop issuing this status; we will update this page when a change to the status occurs. As always, reach out to PubNub support with any issues.

11. 20 Οκτωβρίου 2025 στις 8:25 μ.μ. UTCmonitoring

    PubNub remains stable, and our infrastructure provider continues to make steady progress in restoring services. System performance and reliability are improving, and functionality across affected components is returning to normal levels. We continue to monitor closely and will share additional updates as recovery progresses. We will provide another update when there are any changes in status which we expect within the hour. Please contact PubNub Support if you experience any impact.

12. 20 Οκτωβρίου 2025 στις 10:32 μ.μ. UTCmonitoring

    PubNub remains stable, and our infrastructure provider has restored normal service capacity. Systems are now operating at pre-event levels, and most dependent services are performing as expected. We continue to monitor closely and will share further updates as needed. Please contact PubNub Support if you experience any impact.

13. 20 Οκτωβρίου 2025 στις 11:48 μ.μ. UTCresolved

    This incident has been fully resolved. Our infrastructure provider has restored normal operations, and all systems are functioning as expected. Service performance and reliability have returned to pre-event levels. PubNub continues to monitor systems closely to ensure ongoing stability and we will provide an RCA in in the next couple of day. Thank you for your patience and understanding throughout this event. If you experience any further issues, please reach out to PubNub Support.

14. 27 Οκτωβρίου 2025 στις 6:33 μ.μ. UTCpostmortem

    ### **Problem Description, Impact, and Resolution**  On October 20th, 2025 at 07:06 UTC, our monitoring systems alerted us to elevated error levels across multiple PubNub services in the IAD region \(US-East\). Some customers may have experienced increased error rates and latency, as well as intermittent issues with Presence service availability across IAD \(US-East\), SJC \(US-West\), and HND \(AP-Northeast\). We quickly determined the issue was caused by a broader infrastructure outage affecting our cloud provider \(AWS\) in the IAD region. We initiated regional failover procedures and re-routed new connections to alternate regions. However, due to undefined steps in some of our failover processes and delays accessing some tools due to the provider issue, existing connections for some services remained degraded for longer than expected. To restore full service, we manually reset established connections, re-routed Presence traffic to Frankfurt \(EU-Central\), and brought on additional infrastructure in other regions to absorb traffic. Errors were mitigated by 09:20 UTC. Later in the day, additional regional load in US-West triggered a new wave of service degradation. We responded by isolating the US-East region again and scaling up balancer capacity in US-West. PubNub services were stabilized by 13:20 UTC, and remained in a monitoring state while our infrastructure provider worked to fully resolve the underlying issue. By 22:35 UTC, our provider reported full restoration of service. After validating stability in US-East, we completed rebalancing traffic by 23:48 UTC, and declared the incident resolved. ### **Mitigation Steps and Recommended Future Preventative Measures**  While this incident was caused by an external infrastructure outage, we’ve identified several opportunities to strengthen our internal readiness and response procedures. We are consolidating and centralizing our regional failover procedures to ensure they are immediately accessible and complete for all production services. Any gaps in our process documentation for newer services will be addressed to ensure readiness before they are fully adopted into production. Additionally, we are reviewing and resolving issues with internal tooling, including inventory and DNS resolution problems, which made mitigation more difficult during the incident. These improvements will ensure faster and more consistent responses to future infrastructure-level disruptions, and reduce potential impact on customer traffic across regions.

1. 20 Οκτωβρίου 2025 στις 7:32 π.μ. UTCinvestigating

   At approximately 07:02 UTC, PubNub services began experiencing elevated latencies and server errors in the US-West and US-East regions. PubNub Technical Staff is currently investigating, and more updates will follow once available.

2. 20 Οκτωβρίου 2025 στις 7:58 π.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 20 Οκτωβρίου 2025 στις 8:45 π.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 20 Οκτωβρίου 2025 στις 9:19 π.μ. UTCresolved

   With no further issues observed for the past 30 minutes, the incident has been resolved. We will follow up soon with a root cause analysis. If you believe you experienced an impact related to this incident, please report it to PubNub Support at [email protected].

5. 27 Οκτωβρίου 2025 στις 6:21 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  On October 20th, 2025 at 07:06 UTC, our monitoring systems alerted us to elevated error levels across multiple PubNub services in the IAD region \(US-East\). Some customers may have experienced increased error rates and latency, as well as intermittent issues with Presence service availability across IAD \(US-East\), SJC \(US-West\), and HND \(AP-Northeast\). We quickly determined the issue was caused by a broader infrastructure outage affecting our cloud provider \(AWS\) in the IAD region. We initiated regional failover procedures and re-routed new connections to alternate regions. However, due to undefined steps in some of our failover processes and delays accessing some tools due to the provider issue, existing connections for some services remained degraded for longer than expected. To restore full service, we manually reset established connections, re-routed Presence traffic to Frankfurt \(EU-Central\), and brought on additional infrastructure in other regions to absorb traffic. Errors were mitigated by 09:20 UTC. Later in the day, additional regional load in US-West triggered a new wave of service degradation. We responded by isolating the US-East region again and scaling up balancer capacity in US-West. PubNub services were stabilized by 13:20 UTC, and remained in a monitoring state while our infrastructure provider worked to fully resolve the underlying issue. By 22:35 UTC, our provider reported full restoration of service. After validating stability in US-East, we completed rebalancing traffic by 23:48 UTC, and declared the incident resolved. ### **Mitigation Steps and Recommended Future Preventative Measures**  While this incident was caused by an external infrastructure outage, we’ve identified several opportunities to strengthen our internal readiness and response procedures. We are consolidating and centralizing our regional failover procedures to ensure they are immediately accessible and complete for all production services. Any gaps in our process documentation for newer services will be addressed to ensure readiness before they are fully adopted into production. Additionally, we are reviewing and resolving issues with internal tooling, including inventory and DNS resolution problems, which made mitigation more difficult during the incident. These improvements will ensure faster and more consistent responses to future infrastructure-level disruptions, and reduce potential impact on customer traffic across regions.

1. 17 Οκτωβρίου 2025 στις 6:42 π.μ. UTCinvestigating

   We are currently investigating an incident that could lead to some missed messages by subscribers in the IAD region. All messages are being received and persisted, and can be retrieved from the Storage service. This incident started around 22:07 UTC (03:07 PDT) on 16th Oct 2025. We suspect a moderate impact. Please report any impact related to this incident to [email protected] with any details that you can provide.

2. 17 Οκτωβρίου 2025 στις 6:48 π.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 17 Οκτωβρίου 2025 στις 7:08 π.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 17 Οκτωβρίου 2025 στις 8:06 π.μ. UTCresolved

   There have been no further issues for the past 45 minutes. We are resolving this issue, and we will follow up with a post-mortem soon.

5. 22 Οκτωβρίου 2025 στις 10:20 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  On October 17, 2025 at 04:51 UTC, some customers may have experienced elevated latency and error rates with the Pub/Sub service in the IAD region \(US-East\). Our engineering teams began immediate investigation and identified a spike in errors related to a recent update to the Pub/Sub service. We began formal incident response and initiated rollback of the service deployment shortly thereafter. The issue was fully resolved by 06:50 UTC, and rollback across all regions was completed by 08:00 UTC. The issue occurred because a misconfiguration in the release caused incorrect behavior in the channel cleanup logic. Additionally, our alerting configuration did not include coverage for the synthetic test failures that would have surfaced this issue sooner, delaying detection. ### **Mitigation Steps and Recommended Future Preventative Measures**  To prevent a similar issue from occurring in the future, our engineering teams have written a simpler and more reliable replacement for the faulty logic. That code is currently undergoing rigorous testing before being reintroduced in a future release. We are also addressing the lack of proper alerting that contributed to a delayed response. Synthetic tests have been reviewed, and appropriate alerting will be implemented to ensure similar regressions are detected earlier. In parallel, we are updating our development and testing processes to catch such issues before code reaches production. Lastly, we are conducting a refresher training on our incident response process to ensure faster execution and coordination in the future.

1. 6 Οκτωβρίου 2025 στις 10:13 π.μ. UTCinvestigating

   At about 08:40 UTC, the Event & Action publish operation began to experience elevated error rates. Our Technical Staff is actively investigating, and more information will be posted as it becomes available. If you are experiencing issues that you believe are related to this incident, please report the details to PubNub Support ([email protected]).

2. 6 Οκτωβρίου 2025 στις 10:34 π.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 6 Οκτωβρίου 2025 στις 10:36 π.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 6 Οκτωβρίου 2025 στις 11:00 π.μ. UTCresolved

   With no further issues observed, the incident has been resolved. We will follow up soon with a root cause analysis. If you believe you experienced an impact related to this incident, please report it to PubNub Support at [email protected].

5. 6 Οκτωβρίου 2025 στις 8:37 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  At 08:40 UTC on October 6, 2025, we observed elevated error rates in the Events & Actions service in our EU-Central \(FRA\) region, which led to delays in processing publish-triggered events. Some customers may have experienced slower-than-expected execution of their event workflows during this time. We identified a malformed payload that was causing backend consumers to fail when attempting to process the queue. We deployed an updated build with improved parsing logic, which cleared the blockage and restored normal service. The issue was fully resolved by 11:00 UTC on October 6, 2025. This issue occurred because our event processing service did not correctly handle a malformed message format, which caused the processing queue to stall. Additionally, the alerting system in place was not configured to detect this failure mode promptly, delaying our response. ### **Mitigation Steps and Recommended Future Preventative Measures**  To reduce the risk of similar delays in the future, we are refining our alert thresholds and naming conventions to improve early detection and clarity during response. We are also reviewing validation logic to ensure malformed messages are consistently isolated before reaching backend queues.

1. 7 Σεπτεμβρίου 2025 στις 6:45 μ.μ. UTCmonitoring

   We experienced increased latencies and error rates in our Tokyo, San Jose, and Virginia points-of-presence from 18:14 - 18:17 UTC. A fix was deployed and we are monitoring the situation.

2. 7 Σεπτεμβρίου 2025 στις 7:02 μ.μ. UTCresolved

   The issues affected the Presence service from 18:14 - 18:17 UTC. We will follow up with a post-mortem soon. We apologize for the impact this may have had on your service. Please reach out to us by contacting PubNub Support ([email protected]) if you wish to discuss the impact on your service.

3. 12 Σεπτεμβρίου 2025 στις 11:19 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  At 18:14 UTC on September 7, 2025 we observed increased error rates and latency for our Presence service in our San Jose, Virginia, and Tokyo regions. We increased capacity in those regions and the issue was resolved at 18:17 UTC. This issue was a recurrence of the issue [experienced on September 2, 2025](https://status.pubnub.com/incidents/1n8xk6w5y9lk), where a bug in one of our APIs allowed a request to execute an operation that exceeded assumed limits in extreme cases, causing out-of-memory conditions for the Presence service. ### **Mitigation Steps and Recommended Future Preventative Measures**  In the previous instance of this issue, we placed restrictions on the API in question; those changes were not restrictive enough, which allowed for this recurrence. We have corrected that oversight, as well as increased memory capacities in this area of our system as an additional safeguard.

1. 2 Σεπτεμβρίου 2025 στις 6:34 μ.μ. UTCmonitoring

   At about 11:09, the Presence began to experience elevated latencies and error rates. PubNub Technical Staff is investigating and more information will be posted as it becomes available. If you are experiencing issues that you believe to be related to this incident, please report the details to PubNub Support ([email protected]).

2. 2 Σεπτεμβρίου 2025 στις 6:50 μ.μ. UTCresolved

   The issues affected the Presence service from 18:08 to 18:16 UTC. We will follow up with a post-mortem soon. We apologize for the impact this may have had on your service. Please reach out to us by contacting PubNub Support ([email protected]) if you wish to discuss the impact on your service.

3. 5 Σεπτεμβρίου 2025 στις 10:27 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  At 18:09 UTC on September 2, 2025 we observed increased error rates and latency for our Presence service in our San Jose, Virginia, and Tokyo regions. We increased capacity in those regions and the issue was resolved at 18:16 UTC. This issue occurred because a bug in one of our APIs allowed a request to execute an operation that exceeded assumed limits in extreme cases. In this case, a large number of such requests were executed that resulted in out-of-memory conditions for the Presence service. ### **Mitigation Steps and Recommended Future Preventative Measures**  To prevent a similar issue from occurring in the future we have enforced the intended limit on the API in question. We have also added additional testing and monitoring in this area.

1. 31 Ιουλίου 2025 στις 10:14 μ.μ. UTCinvestigating

   We have detected elevated error levels with the Presence service in multiple regions. Our Engineers are actively working to mitigate the issues and return service to normal levels. We will provide updates here. If you believe you have been impacted by the issue, please report impact to [email protected].

2. 31 Ιουλίου 2025 στις 10:36 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented. We will provide updates here as progress is made.

3. 31 Ιουλίου 2025 στις 10:44 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 31 Ιουλίου 2025 στις 11:14 μ.μ. UTCresolved

   With no further issues observed, the incident has been resolved. We will follow up soon with a root cause analysis. If you believe you experienced an impact related to this incident, please report it to PubNub Support at [email protected].

5. 4 Αυγούστου 2025 στις 3:26 μ.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  On August 1, 2025 at 22:15 UTC, we observed elevated 5xx errors across the Presence service in multiple regions. Customers may have experienced intermittent failures when attempting to receive or update presence messages. We identified a subset of channels exhibiting highly concentrated activity patterns and applied a targeted configuration change to rebalance traffic across the cluster. The issue was resolved by 23:15 UTC on August 1, 2025. This issue occurred because our infrastructure lacked proactive safeguards to evenly distribute presence traffic across nodes in scenarios where a small number of channels receive a disproportionately high number of presence updates. This resulted in resource saturation on some nodes without triggering early mitigation. ### **Mitigation Steps and Recommended Future Preventative Measures**  To prevent a similar issue from occurring in the future, we have applied a sharding configuration to affected channel patterns, which redistributes load more evenly across infrastructure components. This approach reduces the risk of overload caused by concentrated traffic. In the coming days we will be: * Reviewing long-term suitability of the sharding configuration applied during this incident. * Investigating automation options for dynamically applying sharding logic based on real-time usage patterns. * Enhancing internal tooling and monitoring to better detect and respond to load imbalance scenarios before they cause service degradation.

1. 26 Ιουλίου 2025 στις 12:16 π.μ. UTCresolved

   Between 15:33-15:59 UTC we observed elevated levels of latency and errors with our presence service in our FRA region. The issue has been resolved and remains stable. We apologize for the impact this may have had on your service. Please reach out to us by contacting PubNub Support ([email protected]) if you wish to discuss the impact on your service.

2. 26 Ιουλίου 2025 στις 12:19 π.μ. UTCpostmortem

   ### **Problem Description, Impact, and Resolution**  At 14:43 UTC on July 22, 2025, we observed elevated latency and service degradation in our Presence system in the FRA region, impacting customers' ability to receive timely presence events. We implemented changes in our infrastructure to mitigate the pressure on the system, and the incident ended at 15:06 UTC on July 22, 2025. Unfortunately, before we were able to conclusively determine and address the root cause, the issue re-occurred from 15:33 to 15:59 UTC on July 24, 2025. The failures started with an out-of-memory condition in some Presence service nodes. The root cause of the memory condition was a caching system—operated by a third-party vendor—that we rely heavily on for this service began responding slowly at first, and later timing out. While nodes that run into critical issues are generally taken out of service and replaced automatically, this issue began affecting our system faster than new capacity could be brought online to mitigate the incident. Furthermore, a bug in a downstream internal system caused it to also experience failures under the pressure due to a misconfiguration in how it retried failed requests caused by the Presence system’s issues. On the 22nd, we took manual action to break the retry cycle, scale capacity, and allow the Presence service to recover. On the 24th, we identified and addressed the root cause at the caching layer. ### **Mitigation Steps and Recommended Future Preventative Measures**  In the short term, we have scaled the capacity of the Presence system and we implemented changes in the affected caching layer to mitigate the issue of the vendor-provided cache system. Longer term, we are working with the vendor to fix their underlying issue, while also exploring alternatives. We also changed the retry configuration to prevent this kind of retry storm from happening again. We implemented monitoring and alerts for this failure mode, to allow us to more quickly identify this kind of issue.