Ιστορικό διακοπών του Mixpanel

1. 26 Αυγούστου 2026 στις 9:39 μ.μ. UTCinvestigating

   Mixpanel βιώνει υποβαθμισμένη απόδοση API ερωτήματος, με αποτέλεσμα HTTP 500 απαντήσεις όταν ερωτούν εκθέσεις για έργα με US Residency δεδομένων. Τα σχέδια με την Ε.Ε. και IN Data Residency παραμένουν ανεπηρέαστα. Εκτιμούμε την υπομονή σας ενώ οι μηχανικοί μας εργάζονται για την αποκατάσταση της φυσιολογικής λειτουργικότητας. Θα δημοσιεύσουμε ενημερώσεις προόδου στη σελίδα κατάστασης μας. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 26 Αυγούστου 2026 στις 10:11 μ.μ. UTCidentified

   Το θέμα έχει εντοπιστεί και υλοποιείται μια λύση.

3. 26 Αυγούστου 2026 στις 10:28 μ.μ. UTCmonitoring

   Μια διόρθωση έχει εφαρμοστεί, και βλέπουμε βελτιωμένα ποσοστά επιτυχίας για το ερώτημα API. Θα συνεχίσουμε να παρακολουθούμε για να διασφαλίσουμε σταθερότητα.

4. 26 Αυγούστου 2026 στις 10:45 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 19 Αυγούστου 2026 στις 11:20 μ.μ. UTCidentified

   Αυτή τη στιγμή βιώνουμε προβλήματα με τον πληθυσμό ιδιότητες εκδήλωση σε dropdown μενού. Εκτιμούμε την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για την αποκατάσταση της λειτουργικότητας. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη@mixpanel.com

2. 20 Αυγούστου 2026 στις 1:04 π.μ. UTCidentified

   Συνεχίζουμε να εργαζόμαστε πάνω σε μια λύση για αυτό το ζήτημα.

3. 20 Αυγούστου 2026 στις 2:52 π.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

4. 20 Αυγούστου 2026 στις 3:05 π.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 6 Αυγούστου 2026 στις 7:19 π.μ. UTCinvestigating

   Γνωρίζουμε ότι το εργαλείο Get-Report στον εξυπηρετητή Mixpanel MCP αποτυγχάνει αυτή τη στιγμή όταν καλείται skip results: false. Η αναφορά μεταδεδομένων δεν επηρεάζεται. Ερευνούμε το θέμα και θα παρέχουμε ενημερώσεις όπως τις έχουμε.

2. 6 Αυγούστου 2026 στις 8:39 π.μ. UTCidentified

   The issue has been identified and fix is being implemented.

3. 6 Αυγούστου 2026 στις 9:12 π.μ. UTCmonitoring

   A fix has been deployed and we're now monitoring the results. Report queries in the Mixpanel MCP server should be functioning normally. We'll continue to watch closely and provide a final update once we've confirmed full resolution.

4. 6 Αυγούστου 2026 στις 1:32 μ.μ. UTCresolved

   This incident has been resolved.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 22 Ιουλίου 2026 στις 8:03 π.μ. UTCinvestigating

   Αυτή τη στιγμή αντιμετωπίζουμε προβλήματα με τον πράκτορα Mixpanel μέσα στο webapp. Η ομάδα μας έχει ειδοποιηθεί και ερευνά το θέμα και εργάζεται για την αποκατάσταση της λειτουργικότητας του. Εκτιμούμε την υπομονή σας καθώς εργαζόμαστε για να επιλύσουμε αυτό το ζήτημα. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 22 Ιουλίου 2026 στις 9:52 π.μ. UTCinvestigating

   η ομάδα συνεχίζει να ερευνά το θέμα και τα επόμενα βήματα. Ευχαριστώ για την υπομονή σου.

3. 22 Ιουλίου 2026 στις 10:55 π.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

4. 22 Ιουλίου 2026 στις 2:47 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 11 Ιουλίου 2026 στις 7:53 π.μ. UTCinvestigating

   Επί του παρόντος βιώνουμε καθυστερήσεις στον αγωγό κατάποσης δεδομένων μας, ο οποίος επηρεάζει τα δεδομένα σε πραγματικό χρόνο για έργα που εγγράφονται στα προγράμματα των \"ΠΑ, με αποτέλεσμα καθυστερήσεις για ένα υποσύνολο έργων. Ενώ δεν χάνονται δεδομένα, η μηχανική ομάδα μας ερευνά ενεργά το θέμα και εργάζεται για την αποκατάσταση της λειτουργικότητας σε πραγματικό χρόνο το συντομότερο δυνατόν. Εκτιμούμε την υπομονή σας σε αυτό το διάστημα. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 11 Ιουλίου 2026 στις 9:17 π.μ. UTCinvestigating

   Συνεχίζουμε να ερευνούμε αυτό το ζήτημα.

3. 11 Ιουλίου 2026 στις 10:15 π.μ. UTCidentified

   Το θέμα έχει εντοπιστεί και υλοποιείται μια λύση.

4. 11 Ιουλίου 2026 στις 12:54 μ.μ. UTCidentified

   Συνεχίζουμε να εργαζόμαστε πάνω σε μια λύση για αυτό το ζήτημα.

5. 11 Ιουλίου 2026 στις 2:25 μ.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

6. 11 Ιουλίου 2026 στις 3:54 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

7. 16 Ιουλίου 2026 στις 11:47 μ.μ. UTCpostmortem

   # Περίληψη Μεταξύ περίπου **11:35 PM PT στις 10 και 7:19 AM PT στις 11 Ιουλίου 2026 **, κατάποση δεδομένων για έργα του Mixpanel στην περιοχή των ΗΠΑ έτρεξε πίσω έως ~2 ώρες. Στη διάρκεια αυτού του παραθύρου, οι εκθέσεις και τα ταμπλό παρουσίαζαν προσωρινά ελλιπή δεδομένα — πρόσφατα χρονικά διαστήματα θα μπορούσαν να εμφανιστούν ως αιχμηρές, τεχνητές σταγόνες σε μετρήσεις όπως ενεργοί χρήστες ή έσοδα. ** Δεν χάθηκαν δεδομένα. ** Όλα τα γεγονότα ήταν σε αναμονή επί μακρόν και επεξεργάζονταν πλήρως μόλις εκκαθαριζόταν το backlog. Η αιτία προήλθε από τους ελέγχους κατάποσης: για έναν μικρό αριθμό έργων πολύ μεγάλου όγκου, τα ποσοστά κατάποσης που επιτρέψαμε είχαν απομακρυνθεί από την ευθυγράμμιση με την ικανότητα που προβλέπεται για τα έργα αυτά. Οι μεγάλες ιστορικές εισαγωγές — εξ ολοκλήρου νόμιμη χρήση της πλατφόρμας — έγιναν δεκτές ταχύτερα από ό,τι θα μπορούσαν να απορροφήσουν οι υποδομές τους, και δύο ιδιοκτησίες του αγωγού μας μετέτρεψαν την τοπική υπερφόρτωση σε καθυστέρηση σε ολόκληρη την περιοχή. Οι παρακάτω διορθώσεις επαναπροσδιορίζουν τους ελέγχους έτσι ώστε κάθε εισαγωγή, οποιουδήποτε μεγέθους, να διατηρείται αυτόματα εντός ασφαλών ορίων. # Τι συνέβη Ο αγωγός κατάποσης του Mixpanel είναι θραύσης και πολλαπλής αντοχής: τα δεδομένα του κάθε έργου διανέμονται σε ένα σύνολο χωρισμάτων μεγέθους για τον αναμενόμενο όγκο του, και για την υλοτομία, τα γεγονότα από πολλούς πελάτες επεξεργάζονται μαζί σε παρτίδες. Αυτός ο σχεδιασμός παρέχει υψηλή απόδοση, αλλά εξαρτάται από ένα αμετάβλητο: ο ρυθμός με τον οποίο παραδεχόμαστε ότι η κυκλοφορία ενός έργου πρέπει να ταιριάζει με την προβλεπόμενη χωρητικότητα για αυτό. Όταν αυτό ισχύει, ακόμη και οι πολύ μεγάλες εισαγωγές απορροφώνται ομαλά. Εδώ, δεν κράτησε. Ένας μικρός αριθμός από πολύ μεγάλες ιστορικές εισαγωγές δεδομένων αφορούσαν έργα των οποίων τα επιτρεπόμενα ποσοστά κατάποσης είχαν, με την πάροδο του χρόνου, αυξηθεί αρκετά πέρα από την προβλεπόμενη χωριστική τους ικανότητα. Ο υπερβολικός όγκος συγκεντρώθηκε σε συγκεκριμένα χωρίσματα ως ** θερμές κηλίδες **, κορεζόμενος το τμήμα του στόλου που τους εξυπηρετεί. Στη συνέχεια, δύο παράγοντες διευρύνθηκαν: * * * * Batched, multi-tenant επεξεργασία ενίσχυσε τα θερμά σημεία. ** Επειδή τα γεγονότα από πολλούς πελάτες ταξιδεύουν μαζί σε παρτίδες, βραδύτητα και αποτυχίες στα υπερφορτωμένα χωρίσματα καθυστέρησαν τα γεγονότα των μη συνδεδεμένων πελατών που μοιράζονται αυτές τις παρτίδες. * * * * Αυτόματη κλίμακα-up ήταν αναποτελεσματική. ** Η προσθήκη δυναμικότητας δεν μπορεί να διαλύσει ένα θερμό σημείο αυτού του είδους, επειδή τα υπερφορτωμένα χωρίσματα παραμένουν καθηλωμένα στην ίδια υποδομή, και ένα όριο χωρητικότητας σε ένα συστατικό της υποδομής ροής μας εμπόδισε την αύξηση της ικανότητας να τεθεί σε ισχύ. Μαζί, αυτά μετέτρεψαν μια σύντομη, αυτοθεραπευτική επιβράδυνση σε μια πολύωρη καθυστέρηση που απαιτούσε χειροκίνητη παρέμβαση. # Χρονολόγιο \(Ωρα Ειρηνικού, 10–11\1) * **11:35 PM** — Αυτοματοποιημένη ειδοποίηση εντόπισε την κατάποση backlog; εφημερεύων μηχανικός που ενεργοποιήθηκε αμέσως. * * * * 12:49 AM ** — Κατάσταση σελίδα περιστατικό δημοσιεύτηκε; αντίκτυπος μόνο στην περιοχή των ΗΠΑ. * **1:23 AM ** — Η μεγαλύτερη εισοδηματική εισαγωγή σταμάτησε. * **1:55–6:48 AM** — Προοδευτικές μετριασμοί: πρόσθετες πηγές κυκλοφορίας γκαζιασμένες, ορισμένα παραφορτωμένα δεδομένα αναβάλλονται με τη συμφωνία του ιδιοκτήτη πελάτη, η απομόνωση αποτυχίας ενεργοποιήθηκε στον αγωγό, και οι επηρεαζόμενοι κόμβοι υποδομής αντικαταστάθηκαν. * **7:19 AM** — Backlog πλήρως επεξεργασμένο? όλα τα τρέχοντα έργα. Η σελίδα κατάστασης μεταφέρθηκε στην παρακολούθηση και στη συνέχεια λύθηκε μετά από μια σταθερή περίοδο παρατήρησης. Η αιτία της ρίζας 1. **Ποσοστά κατάποσης που δεν ευθυγραμμίζονται με την παρεχόμενη χωρητικότητα. ** Για τα έργα οδήγησης, τα ποσοστά που παραδέχθηκε η πλατφόρμα μας είχαν αυξηθεί από το βήμα με την υποδομή που προβλέπεται γι 'αυτούς, έτσι ώστε οι νόμιμες εισαγωγές υψηλού όγκου ήταν σε ταχύτερη από ό, τι τα χωρίσματα τους θα μπορούσε να απορροφήσει. Αυτή είναι η συστημική βασική αιτία. Οι ίδιες οι εισαγωγές αποτελούσαν νόμιμη χρήση της πλατφόρμας. 2. ** Αντιστοίχιση, επεξεργασία πολλαπλών τενόντων ενίσχυσε την υπερφόρτωση. ** Αποτυχίες στις υπερφορτωμένες κατατμήσεις καθυστέρησαν τα μη συνδεδεμένα γεγονότα των πελατών που μοιράζονται τις ίδιες παρτίδες επεξεργασίας, εξαπλώνοντας ένα τοπικό πρόβλημα σε όλη την πλατφόρμα. 3. **Η κυκλοφορία στα υπερφορτωμένα χωρίσματα δεν μπορούσε να αναδιανεμηθεί. ** Η ανάθεση κατάτμησης σε υπηρεσία στο στρώμα ροής δεν ήταν συνειδητή, έτσι τα θερμά σημεία παρέμειναν καρφωμένα στους ίδιους διακομιστές ανεξάρτητα από το μέγεθος του στόλου — η συνολική χωρητικότητα ήταν επαρκής, αλλά δεν μπορούσε να φερθεί. Ένα όριο κλιμάκωσης σε ένα συστατικό της ροής της υποδομής μας επιδείνωσε αυτό εμποδίζοντας την αύξηση της χωρητικότητας, η οποία καθυστέρησε τη διάγνωση μέχρι οι μηχανικοί να παρέμβουν χειροκίνητα. # Τι αλλάζουμε Η τελική κατάσταση προς την οποία οικοδομούμε: ** τα όρια κατάποσης κάθε έργου ταιριάζουν αυτόματα με την παρεχόμενη ικανότητά του, έτσι ώστε οι εισαγωγές οποιουδήποτε μεγέθους, συμπεριλαμβανομένων των πλήρων ιστορικών επαναπληρώσεων και συγχρονισμούς αποθήκης δεδομένων, να μπορούν να εκτελούνται χωρίς εκ των προτέρων συντονισμό, και ο όγκος ενός έργου εμποδίζεται να επηρεάσει τη φρεσκάδα των δεδομένων κάποιου άλλου.**. Ήδη έχει αναπτυχθεί — βελτιώνοντας το χειρισμό της κατάποσης: * * * * Αυτοσχέδιος χειρισμός hot-spot. ** Η κατανομή της κυκλοφορίας στο στρώμα ροής είναι τώρα αμελητέο φορτίο, η εξάπλωση συμπυκνωμένο φορτίο πιο ομοιόμορφα σε όλο το στόλο, και τα μεμονωμένα προβλήματα στοιχεία είναι τώρα retried χωριστά αντί να κρατήσει το υπόλοιπο της παρτίδας τους - μειώνοντας, αν και δεν εξαλείφουν, τον αντίκτυπο μια τοπική υπερφόρτωση μπορεί να έχει σε μη συνδεδεμένη κυκλοφορία. * ** Αναπροσδιορίστηκαν τα υψηλότερα φορτία εργασίας ** σε κατάλληλα μεγέθη υποδομής, με προτεραιότητα από τον κίνδυνο. Ήδη αναπτυχθεί - αλλάζοντας τον τρόπο λειτουργίας της υπηρεσίας ροής τρίτων: * **Μελετήθηκε και επαναρυθμίστηκε το προφίλ χωρητικότητας του στόλου ** έτσι οι μεμονωμένοι εξυπηρετητές έχουν σημαντικά περισσότερη αίθουσα για συμπυκνωμένο φορτίο, και εργάστηκε με τον πάροχο για την επίλυση του περιορισμού κλιμάκωσης που αντιμετωπίστηκε κατά τη διάρκεια του συμβάντος. Σε εξέλιξη: * * * * Περιορισμός του ποσοστού ευαισθητοποίησης για τις ανάγκες ** — το κλείσιμο των κενών μεταξύ των ατομικών επιτρεπόμενων ορίων του ποσοστού του έργου και της πραγματικής παρεχόμενης ικανότητας κάθε έργου, η επέκταση του ποσοστού περιορισμού στις διαδρομές κατάποσης που προηγουμένως δεν υπήρχαν, και η σύζευξη κάθε μελλοντικής αύξησης του ορίου σε αύξηση της δυναμικότητας, η οποία έχει σχεδιαστεί για να αποτρέψει την επανάληψη αυτής της κατηγορίας κακής ευθυγράμμισης. * * ** Παρακολούθηση όγκου και προειδοποίησης με βάση το φινάλε ** έτσι η κακή ευθυγράμμιση χωρητικότητας ανιχνεύεται και διορθώνεται πριν μπορεί να επηρεάσει οποιονδήποτε πελάτη. * Αξιολογώντας ισχυρότερη απομόνωση φόρτου εργασίας / backlog ανάκτηση προτεραιότητα για χύδην / backfill δρόμους κυκλοφορίας, έτσι οι ιστορικές εισαγωγές έχουν μειώσει τον αντίκτυπο στην ζωντανή κυκλοφορία # Κοινές ερωτήσεις * * * * * Χάθηκε κανένα στοιχείο; * * * Τα γεγονότα ήταν σε αναμονή καθ' όλη τη διάρκεια του περιστατικού και είχαν υποβληθεί σε πλήρη επεξεργασία μόλις εκκαθαριστεί η καθυστέρηση. Οι μετρικές σταγόνες που παρατηρήθηκαν κατά τη διάρκεια του παραθύρου ήταν ένα τεχνούργημα απεικόνισης της καθυστέρησης και αυτοδιορθώθηκε. * * * * Πρέπει να συντονίσει μεγάλες εισαγωγές ή backfills με Mixpanel; ** Όχι - Ο στόχος μας είναι η πλατφόρμα να κρατήσει οποιαδήποτε εισαγωγή μέσα σε ασφαλείς τιμές αυτόματα, έτσι ώστε τα backfills και οι συγχρονισμοί αποθήκη μπορεί να τρέξει χωρίς προγραμματισμό ή ειδοποίηση. Εξακολουθούμε να κινούμε τους ελέγχους σχετικά με την ικανότητα που το παρέχουν. Εν τω μεταξύ, αν σχεδιάζετε μια ασυνήθιστα μεγάλη εισαγωγή ή backfill, σας προτείνουμε συντονισμό με την ομάδα του λογαριασμού σας, ώστε να μπορούμε να επιβεβαιώσουμε την ικανότητα εκ των προτέρων. * * * * * Πώς αυτό εμποδίζεται να πάει προς τα εμπρός; ** Ο συστημικός καθορισμός είναι η σύσφιξη των κενών μεταξύ των ατομικών ορίων των ποσοστών του έργου και της πραγματικής παρεχόμενης ικανότητας του κάθε έργου, και η επέκταση του ρυθμού περιορισμού στις διαδρομές κατάποσης που προηγουμένως στερούνταν — έτσι η υπερφόρτωση αυτού του είδους σταματά κατά την είσοδο. Επιπλέον, ο περιορισμός κλιμάκωσης που παρατάθηκε το περιστατικό είναι σταθερός, ο αγωγός τώρα επαναλαμβάνει μεμονωμένα προβλήματα, έτσι ώστε μια τοπική υπερφόρτωση να έχει πολύ λιγότερο αντίκτυπο στη μη συνδεδεμένη κυκλοφορία, και η μαζική κυκλοφορία απομονώνεται περαιτέρω από τη ζωντανή κυκλοφορία. * * * * Μπορεί μεμονωμένα έργα να δοθεί προτεραιότητα κατά την ανάκτηση; ** Αυτή η ικανότητα δεν υπήρχε κατά τη διάρκεια του συμβάντος — όλα τα έργα ανέκαμψαν με τον ίδιο ρυθμό. Αξιολογούμε τους μηχανισμούς ιεράρχησης των προτεραιοτήτων για την ανάκαμψή τους ως μέρος της συνέχειας μας. Ζητάμε συγγνώμη για την αναστάτωση και για την ανησυχία που προκάλεσαν οι προσωρινά καταθλιπτικές μετρήσεις. Παρακαλούμε επικοινωνήστε μέσω της ομάδας του λογαριασμού σας ή την υποστήριξη με οποιεσδήποτε ερωτήσεις.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 29 Ιουνίου 2026 στις 7:47 μ.μ. UTCinvestigating

   Mixpanel βιώνει υποβαθμισμένη απόδοση με μας API ερωτημάτων, συμπεριλαμβανομένης της αυξημένης λανθάνουσας. Μπορεί να δείτε αναφορές αργής φόρτωσης ή σφάλματα ερωτήματος. Εκτιμούμε την υπομονή σας ενώ οι μηχανικοί μας εργάζονται για την αποκατάσταση της φυσιολογικής λειτουργικότητας. Θα δημοσιεύσουμε ενημερώσεις προόδου στη σελίδα κατάστασης μας. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 29 Ιουνίου 2026 στις 9:04 μ.μ. UTCidentified

   Το θέμα έχει εντοπιστεί και υλοποιείται μια λύση.

3. 29 Ιουνίου 2026 στις 10:42 μ.μ. UTCidentified

   Η λανθάνουσα λανθάνουσα λανθάνουσα λανθάνουσα δραστηριότητα έχει σταθεροποιηθεί, αν και η ομάδα μας συνεχίζει να ερευνά την υποκείμενη αιτία της υποβαθμισμένης απόδοσης. Θα συνεχίσουμε να δημοσιεύουμε ενημερώσεις καθώς προχωρά η έρευνά μας. Σας ευχαριστώ για την υπομονή σας.

4. 30 Ιουνίου 2026 στις 2:15 π.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

5. 30 Ιουνίου 2026 στις 3:30 π.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 3 Ιουνίου 2026 στις 8:05 μ.μ. UTCinvestigating

   Mixpanel is currently experiencing a disruption in the ability to invite and delete internal users within organizations. We appreciate your patience while our engineers work to restore this functionality. If you have any questions, please contact [email protected]

2. 3 Ιουνίου 2026 στις 8:17 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 3 Ιουνίου 2026 στις 9:27 μ.μ. UTCresolved

   This incident has been resolved.

1. 2 Ιουνίου 2026 στις 11:02 π.μ. UTCinvestigating

   We are experiencing delays with our data ingestion and shuffling pipeline to projects with all projects. No data is being lost but as a result, real-time data is delayed. We appreciate your patience while our engineers work to restore real-time functionality. If you have any questions, please contact support

2. 2 Ιουνίου 2026 στις 12:31 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2 Ιουνίου 2026 στις 2:31 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2 Ιουνίου 2026 στις 4:53 μ.μ. UTCresolved

   This incident has been resolved.

1. 1 Ιουνίου 2026 στις 2:15 μ.μ. UTCinvestigating

   We are experiencing delays with our data ingestion and shuffling pipeline to projects with US & India data residency. No data is being lost but as a result, real-time data is delayed. We appreciate your patience while our engineers work to restore real-time functionality. If you have any questions, please contact support

2. 1 Ιουνίου 2026 στις 3:08 μ.μ. UTCinvestigating

   We have now identified an ingestion delay for EU projects, and are continuing to investigate the issue. Thank you for your patience.

3. 1 Ιουνίου 2026 στις 3:29 μ.μ. UTCidentified

   The issue has been identified, and a fix is being implemented.

4. 1 Ιουνίου 2026 στις 4:38 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

5. 1 Ιουνίου 2026 στις 7:42 μ.μ. UTCresolved

   This incident has been resolved.

1. 19 Μαΐου 2026 στις 7:03 μ.μ. UTCinvestigating

   A subset of users are currently facing issues accessing boards that they previously had access to view. Our Engineering team is actively investigating and will update shortly.

2. 19 Μαΐου 2026 στις 7:10 μ.μ. UTCidentified

   The issues has been identified and a fix is being implemented. As a workaround boards can be explicitly shared with users who are having issues viewing them currently.

3. 19 Μαΐου 2026 στις 8:23 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 19 Μαΐου 2026 στις 9:18 μ.μ. UTCresolved

   This incident has been resolved.

1. 14 Μαΐου 2026 στις 11:17 μ.μ. UTCinvestigating

   We are experiencing degraded performance with our Query API, including increased latency. You may see slow-loading reports, incomplete query results, query errors, or data discrepancies. We appreciate your patience while our engineers work to restore normal functionality. We will post progress updates on our status page. If you have any questions, please contact support.

2. 14 Μαΐου 2026 στις 11:48 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 15 Μαΐου 2026 στις 10:19 π.μ. UTCidentified

   We are continuing to work on a fix for this issue.

4. 15 Μαΐου 2026 στις 12:28 μ.μ. UTCidentified

   We've continued to make progress on the issue affecting some US projects. Query success rates have returned to normal levels, and the related processing delays have also recovered. A subset of affected projects may still see incomplete data in query results while our recovery process runs. We're actively working on this and will share another update in 2 hours. Impact remains limited to our US region. We do not currently believe any data has been permanently lost.

5. 15 Μαΐου 2026 στις 2:31 μ.μ. UTCidentified

   Recovery is progressing well. Query success rates remain at normal levels, and missing data has now been restored for a portion of affected projects. We're continuing the recovery process for the remaining affected projects and currently estimate full recovery within approximately 3–5 hours. Some customers may still see incomplete data in query results until this work is complete.

6. 15 Μαΐου 2026 στις 4:37 μ.μ. UTCidentified

   We are continuing to work on resolving this issue. Our current estimate for full recovery is approximately 3–5 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

7. 15 Μαΐου 2026 στις 6:47 μ.μ. UTCidentified

   Recovery is continuing to progress and query latency has returned to normal levels. Our current estimate for full recovery is approximately 3–4 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

8. 15 Μαΐου 2026 στις 7:56 μ.μ. UTCidentified

   We are investigating an increase in query latency that appears to be unrelated to the ongoing recovery. You may experience slower-loading reports. Our team is actively looking into the cause and we will provide an update shortly. Recovery is continuing to progress. Our current estimate for full recovery is approximately 3–4 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

9. 15 Μαΐου 2026 στις 9:23 μ.μ. UTCidentified

   Query latency has returned to normal levels. We are continuing to monitor.

10. 15 Μαΐου 2026 στις 10:14 μ.μ. UTCidentified

    Query latency has returned to normal levels and has been resolved. Recovery is continuing to progress, and our current estimate for full recovery is approximately 4–5 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

11. 16 Μαΐου 2026 στις 12:17 π.μ. UTCidentified

    Recovery is continuing to progress. Our current estimate for full recovery is approximately 1-2 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

12. 16 Μαΐου 2026 στις 1:52 π.μ. UTCmonitoring

    A fix has been implemented and we are monitoring the results.

13. 16 Μαΐου 2026 στις 2:50 π.μ. UTCresolved

    This incident has been resolved.

14. 21 Μαΐου 2026 στις 9:43 μ.μ. UTCpostmortem

    # Mixpanel RCA: Transient Data Access Issue, May 14, 2026 ## Summary On Thursday, May 14, 2026 at approximately 2:30 PM PT, a routine but infrequent cleanup operation in Mixpanel's storage system mistakenly removed a portion of production data files in addition to the unused files it was intended to remove. Some customers experienced query errors during the hours that followed. We detected the issue within minutes, deployed mitigations the same evening that returned query success rates and latency to normal, and restored the affected files from backup by 5:15 PM PT on Friday, May 15. Mixpanel's ingestion pipeline was not affected and no event data was lost in transit. ## What happened This incident was triggered by a storage cleanup procedure that runs periodically to remove files no longer referenced by Mixpanel's metadata. The procedure was more involved than usual: it followed a recent enhancement to our file storage strategy that left a set of unused files behind in our storage backend, and addressing them required extending our standard cleanup approach to cover a new code path. As part of executing this extended cleanup, an engineer generated the list of files to delete using a SQL query whose date filter was not strictly earlier than the reference snapshot it was being compared against. As a result, a small set of legitimate production files that had been written in the gap window between the snapshot and the filter date were incorrectly classified as unused and removed. The deletion ran for roughly half an hour before internal alerting caught the resulting query failures and the operation was stopped. The trigger was operator error against an ambiguous runbook, not a defect in the live serving path or in our ingestion pipeline. ## Customer impact Impact unfolded in two phases. The first phase ran from Thursday at approximately 2:30 PM PT until 8:11 PM PT — roughly five and a half hours. During this window, customers across the platform may have seen slower or failed queries when their requests touched files that had been deleted. The breadth and severity varied by project depending on which data each query touched. By 8:11 PM PT, mitigations had fully rolled out — queries automatically retried against an alternate availability zone, and a fallback path was put in place to serve missing files from a backup datastore. After this point, query success rate and latency returned to normal. The second phase lasted from 8:11 PM PT Thursday through approximately 5:15 PM PT Friday, May 15. During this window, fewer than 2% of customers were still affected — specifically, those whose deleted files had not yet been fully restored from backup. The vast majority of these files were recovered by Friday afternoon. A small number of projects \(under 30\) had files that could not be fully recovered from backup, and we are following up with those accounts directly. ## Timeline \(Pacific Time\) * May 14, 2:30 PM — Cleanup operation begins * May 14, 3:11 PM — Internal alerting flags query failures; the cleanup operation is stopped within minutes * May 14, 4:07 PM — Status page banner posted * May 14, 4:45 PM — Mitigation deployed: queries automatically retry against an alternate availability zone * May 14, 7:12 PM — Mitigation deployed: queries fall back to a backup datastore for missing files * May 14, 8:11 PM — Query success rate and latency fully restored to normal levels * May 15, 5:15 PM — File restore from backup complete; status page banner resolved ## Why this happened Several contributing factors lined up. The runbook for this cleanup procedure had ambiguous wording around the ordering and timing of its inputs. It had been recently authored to handle the new file-storage code path and had not gone through a formal review before being used. Our cleanup tooling did not programmatically enforce the safety invariant that the date filter must be strictly before the reference snapshot. That invariant lived only in operator-authored SQL. The extended cleanup was being executed in parallel across two storage layers by two different engineers, which increased the room for error. ## What we're doing to prevent recurrence We have already made or have actively in flight the following changes. We are adding programmatic safeguards to our cleanup tooling so that an input set whose date filter is not safely before the reference snapshot is rejected before any deletion occurs, along with a reconciliation step that flags any production-referenced file before deletion proceeds. Destructive cleanup operations will now run in phased stages, starting with internal projects and pausing for a holding period before any broader execution. Destructive storage operations now require a second engineer to sign off on the exact deletion set and to be present during execution, matching the practice we already follow for database migrations. We have updated the cleanup runbook with explicit guidance on input timing, required safety buffers, and an enforced review process for any runbook covering a destructive operation. Longer term, we are working to eliminate the manual portion of this cleanup procedure entirely and route it through our existing automated cleanup infrastructure, so the class of failure that produced this incident is no longer reachable through human input. ## Closing Reliability and data integrity are foundational to the trust our customers place in Mixpanel, and we recognize the impact this incident had on the teams who rely on us. We are sorry for the disruption. If you have questions about how this incident may have affected a specific project, please reach out to your account team or Mixpanel Support.

1. 13 Μαΐου 2026 στις 4:34 μ.μ. UTCidentified

   Data Volume Monitoring is again experiencing degraded performance due to a recurring upstream provider disruption. We're mitigating now.

2. 13 Μαΐου 2026 στις 9:40 μ.μ. UTCidentified

   We are continuing to work on a fix for this issue.

3. 14 Μαΐου 2026 στις 1:35 μ.μ. UTCresolved

   This incident has been resolved.

1. 12 Μαΐου 2026 στις 5:45 μ.μ. UTCinvestigating

   We are currently investigating an issue that leads to degraded performance of Data Volume Monitoring in a subset of US-based projects. We truly appreciate your patience and apologize for the inconvenience. If you have any questions, please contact support (https://mixpanel.com/get-support).

2. 12 Μαΐου 2026 στις 5:46 μ.μ. UTCidentified

   An upstream service provider outage is causing this issue. We are deploying a fix to mitigate the disruption.

3. 12 Μαΐου 2026 στις 8:24 μ.μ. UTCmonitoring

   A fix has been implemented, and we are monitoring the result.

4. 12 Μαΐου 2026 στις 9:44 μ.μ. UTCresolved

   This incident has been resolved.

1. 6 Μαΐου 2026 στις 12:00 π.μ. UTCinvestigating

   A subset of projects are experiencing issues exporting data to the Snowflake warehouse via Mixpanel pipelines. We are currently investigating this issue.

2. 6 Μαΐου 2026 στις 9:32 π.μ. UTCidentified

   We have identified the issue affecting Snowflake pipeline exports for a subset of projects, and our engineering team is working on a resolution.

3. 6 Μαΐου 2026 στις 8:04 μ.μ. UTCresolved

   This incident has been resolved.

1. 9 Απριλίου 2026 στις 8:03 μ.μ. UTCidentified

   We are currently experiencing an interruption with our credit card processing. Our engineers have identified the issue and are working on a fix.

2. 9 Απριλίου 2026 στις 9:00 μ.μ. UTCmonitoring

   A fix has been deployed, and all impacted accounts have had their billing re-run. If you continue to receive errors, please ensure the card on file is up to date. If you are still experiencing issues, please submit a support ticket.

3. 9 Απριλίου 2026 στις 9:44 μ.μ. UTCresolved

   This incident has been resolved.

1. 16 Μαρτίου 2026 στις 4:50 μ.μ. UTCidentified

   Mixpanel is experiencing increased query latency for projects with EU residency, which may result in HTTP 500 responses when querying or saving reports. Projects with US and IN residency remain unaffected. Our engineering team is working on a resolution.

2. 16 Μαρτίου 2026 στις 7:29 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 16 Μαρτίου 2026 στις 9:47 μ.μ. UTCresolved

   This incident has been resolved.

1. 2 Μαρτίου 2026 στις 9:00 μ.μ. UTCinvestigating

   We are currently experiencing issues with loading Mixpanel.com and are working to restore service as quickly as possible. Our team is investigating the issue and will provide updates as soon as we have more information. Thank you for your patience.

2. 2 Μαρτίου 2026 στις 9:09 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2 Μαρτίου 2026 στις 9:09 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2 Μαρτίου 2026 στις 9:53 μ.μ. UTCresolved

   This incident has been resolved. If Mixpanel is still not loading, please clear your cache and cookies.

1. 2 Μαρτίου 2026 στις 7:48 μ.μ. UTCinvestigating

   A subset of users are experiencing OAuth issues when connecting to our MCP server. We are currently investigating this issue.

2. 2 Μαρτίου 2026 στις 7:49 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2 Μαρτίου 2026 στις 7:50 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2 Μαρτίου 2026 στις 8:08 μ.μ. UTCmonitoring

   We have partially mitigated the issue and are continuing to monitor for any further impact. We are also actively working to address the root cause.

5. 3 Μαρτίου 2026 στις 1:43 π.μ. UTCresolved

   This incident has been resolved.

1. 2 Μαρτίου 2026 στις 6:41 μ.μ. UTCinvestigating

   A subset of users are experiencing OAuth issues when connecting to our MCP server. We are currently investigating this issue.

2. 2 Μαρτίου 2026 στις 6:44 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2 Μαρτίου 2026 στις 6:45 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2 Μαρτίου 2026 στις 6:53 μ.μ. UTCresolved

   This incident is resolved.

1. 30 Ιανουαρίου 2026 στις 6:39 μ.μ. UTCinvestigating

   We are currently experiencing delays with Cohort Syncs to external destinations, including custom webhooks and engagement platforms. Our team is investigating the issue and actively working on a resolution. We sincerely apologize for the inconvenience and thank you for your kind understanding. If you have any questions, please contact support

2. 30 Ιανουαρίου 2026 στις 8:05 μ.μ. UTCmonitoring

   A fix has been implemented, and we are monitoring the results. Recurring cohort syncs should resume on the next scheduled run with no additional action required.

3. 30 Ιανουαρίου 2026 στις 10:14 μ.μ. UTCmonitoring

   We are continuing to monitor for further issues. We have identified that a subset of Cohort Syncs are still experiencing delays and are working to resolve these remaining cases.

4. 31 Ιανουαρίου 2026 στις 1:48 π.μ. UTCmonitoring

   Additional fixes have been implemented. We are continuing to monitor for any further issues.

5. 31 Ιανουαρίου 2026 στις 2:41 π.μ. UTCresolved

   This incident has been resolved.