Ιστορικό διακοπών του Mixpanel

1. 21 Οκτωβρίου 2026 στις 6:04 μ.μ. UTCmonitoring

   We’ve received reports that requests to decide.mixpanel.com are failing. Any traffic sent through decide.mixpanel.com may be affected, including feature flags and event tracking. To restore service now, point requests to api.mixpanel.com (US), api-eu.mixpanel.com (EU), or api-in.mixpanel.com (IN) depending on your project's Data Residency. We’re rolling out a mitigation and monitoring the results. We will post progress updates on our status page. If you have any questions, please contact support.

2. 21 Οκτωβρίου 2026 στις 8:15 μ.μ. UTCresolved

   This incident has been resolved.

1. 21 Οκτωβρίου 2026 στις 10:28 μ.μ. UTCmonitoring

   Λάβαμε αναφορές ότι τα αιτήματα για την απόφαση.mixpanel.com αποτυγχάνουν. Οποιαδήποτε κίνηση που αποστέλλεται μέσω της απόφασης.mixpanel.com μπορεί να επηρεαστεί, συμπεριλαμβανομένων σημαίες χαρακτηριστικό και παρακολούθηση γεγονότων. Για να αποκαταστήσετε την υπηρεσία τώρα, σημειώστε τις αιτήσεις στο api.mixpanel.com (US), api-eu.mixpanel.com (EU), ή api-in.mixpanel.com (IN), ανάλογα με την Residency του έργου σας. Ξεκινήσαμε έναν μετριασμό και παρακολουθούμε τα αποτελέσματα. Βλέπουμε την κίνηση να αποκαθίσταται. Θα δημοσιεύσουμε ενημερώσεις προόδου στη σελίδα κατάστασης μας. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 22 Οκτωβρίου 2026 στις 1:34 π.μ. UTCresolved

   Το περιστατικό λύθηκε.

3. 24 Οκτωβρίου 2026 στις 1:58 π.μ. UTCpostmortem

   # **Mixpanel RCA: Αιτήματα να ** [*decide.mixpanel.com*]] (http://decide.mixpanel.com) ** Αποτυχία, 15–21 Οκτωβρίου 2026 ** \"Περίληψη\" Από τις 15 Οκτωβρίου 2026 έως τις 21 Οκτωβρίου 2026, τα αιτήματα που εστάλησαν στο `decide.mixpanel.com` και `api-decide.mixpanel.com` απέτυχαν. Αυτό επηρέασε τους πελάτες που έστειλαν παρακολούθηση γεγονότων, ενημερώσεις προφίλ, ή χαρακτηριστικό αιτήματα σημαίας σε αυτό το hostname, συνήθως μέσω ενός διαμεσολαβητή. Τα γεγονότα που εστάλησαν σε αυτόν τον τομέα κατά τη διάρκεια αυτού του παραθύρου δεν ελήφθησαν από το Mixpanel και αυτά τα δεδομένα δεν μπορούν να αποκατασταθούν από το Mixpanel. **Traffic εστάλη στο ** `api.mixpanel.com`**, **`api-js.mixpanel.com, ``api-eu.mixpanel.com`**, και **`api-in.mixpanel.com` ** δεν επηρεάστηκαν.*** Η υπηρεσία σε αυτό το hostname είχε ακούσια αντίκτυπο ενώ αφαιρούσαμε την υποδομή του τελικού σημείου `/αποφάσισης'. Τα ονόματα υποδοχής αντιμετωπίστηκαν ως μέρος του τελικού σημείου λόγω λανθασμένης κατανόησης των εξαρτήσεων του συστήματος. Για να αποτρέψουμε αυτή την κατηγορία, προσθέτουμε την παρακολούθηση της κυκλοφορίας για τα «decide.mixpanel.com» και `api-decide.mixpanel.com` hostnames. Επίσης θα απαιτήσουμε επιβεβαιωμένη μηδενική κίνηση στο επίπεδο hostname πριν αφαιρεθεί οποιοδήποτε hostname. ** Έχουμε από την αποκατάσταση της υπηρεσίας on ** `decide.mixpanel.com` . Τι έγινε; Παλαιότερα Mixpanel SDKs που ονομάζεται το τελικό σημείο `/decide` για να πάρει τη διαμόρφωση για [** Legacy Αυτόματη Παρακολούθηση Mobile Events**]](https://docs.mixpanel.com/docs/tracking-methods/sdks/ios#legacy-automaticly-tracked-events). Εμείς [ανακοινώσαμε τη συνταξιοδότηση του τελικού σημείου](https://docs.mixpanel.com/changelogs#2026-01-26), και για κάποιο διάστημα `/decide` έχει επιστρέψει μια `410 ́ απάντηση. Ξεχωριστά, το `decide.mixpanel.com' και το `api-decide.mixpanel.com' δρούσαν ως ψευδώνυμα για τα τυποποιημένα μας API hostnames. Για παράδειγμα, το `decide.mixpanel.com/track` κατάποση συμβάντων με τον ίδιο τρόπο που κάνει και το `api-js.mixpanel.com/track`. Μερικοί πελάτες είχαν δημιουργήσει πληρεξούσια ή SDK διαμορφώσεις για να στείλετε την επισκεψιμότητα τους σε αυτά τα ονόματα host. Στις 15 Οκτωβρίου στις 7:40 μ.μ. CDT, κατά τη διάρκεια του τελικού καθαρισμού του τελικού σημείου `/decide ́, αφαιρέσαμε τα αρχεία DNS για `decide.mixpanel.com` και `api-decide.mixpanel.com` και αφαιρέσαμε και τα δύο ονόματα από τον ισοσταθμιστή φορτίου μας. Πριν κάνουμε την αλλαγή, επιβεβαιώσαμε ότι η κίνηση προς το τελικό σημείο `/αποφάσισε' είχε πέσει στο μηδέν. Ωστόσο, η παρακολούθησή μας μετρούσε την κίνηση με το καταληκτικό σημείο και όχι με το hostname. Ως εκ τούτου, δεν έδειξε ότι άλλα αιτήματα, όπως `/track` και `/σημαίες`, έφταναν ακόμα στο Mixpanel μέσω αυτών των ονομάτων. Από τότε, όλες οι αιτήσεις προς αυτό το hostname απέτυχαν, συμπεριλαμβανομένων των τελικών σημείων όπως `/track`,`/engage`,`/groups`, και`/flags`. * **Εκδηλώσεις και Προφίλ:** Εκδηλώσεις, Προφίλ, και οποιαδήποτε δεδομένα προορίζονται για [Καταληκτικά σημεία API κατά την κατάποση] (https://docs.mixpanel.com/reference/ingestion-api) σε αυτά τα ονόματα hostnames κατά τη διάρκεια αυτού του παραθύρου δεν έφτασε ποτέ Mixpanel, έτσι δεν έχουμε ένα αντίγραφο για την αποκατάσταση. Εάν διατηρήσατε αυτά τα δεδομένα αλλού, όπως στα αρχεία καταγραφής πληρεξουσίων ή στην αποθήκη δεδομένων σας, μπορείτε να τα στείλετε εκ νέου στο Ingestion API’s [/import](https://docs.mixpanel.com/reference/import-events), [/engage,](https://docs.mixpanel.com/reference/profile-set) και [/groups](https://docs.mixpanel.com/reference/group-set-property). * ** Σημαίες: ** Τα αιτήματα σημαίας που αποστέλλονται σε αυτά τα ονόματα υπολογιστών απέτυχαν. Τα SDK εξυπηρετούσαν την τελευταία αποθηκευμένη παραλλαγή αν υπήρχε, ή αλλιώς η τιμή πτώσης που διαμορφώθηκε στον κωδικό σας. Ώρα Κεντρικής Ώρας, Οκτώβριος 2026 * ** 15 Οκτωβρίου, 7:40 μμ CDT: ** Εφαρμόζεται η αφαίρεση του ονόματος υπολογιστή. Οι αιτήσεις «decise.mixpanel.com» και «api-decide.mixpanel.com» αρχίζουν να αποτυγχάνουν. * ** 16 Οκτωβρίου, 5:22 AM CDT: ** Λαμβάνουμε την πρώτη αναφορά πελατών. Αρχικά θεωρείται ότι σχετίζεται με την προγραμματισμένη «/αποφασιστική» συνταξιοδότηση. * * * * 21 Οκτωβρίου 11:42 AM CDT: ** Μετά από μια αύξηση στις αναφορές πελατών σχετικά με την παρακολούθηση αποτυχίας για πληρεξουσίους, αναγνωρίζουμε την αφαίρεση ονόματος υπολογιστή ως αιτία. * * * * * 21 Οκτωβρίου 12:26 μμ CDT: ** Αποκαθιστούμε τα ονόματα των υπολογιστών. \"/αποφασίζω\" παραμένει συνταξιούχος. * * * * * 21 Οκτωβρίου, 1:51 μμ CDT: ** Επιβεβαιώνουμε την κίνηση προς τα αποκαταστημένα hostnames έχει ανακτηθεί. * * * * 21 Οκτωβρίου 8:34 μμ CDT: ** Το περιστατικό λύθηκε. Αιτίες γιαRoγες. 1. Κατά τη διάρκεια της αποχώρησης `/αποφάσεως', `decide.mixpanel.com` και `api-decide.mixpanel.com` αφαιρέθηκαν ακούσια. 2. Αυτά τα hostnames είχαν ρυθμιστεί για να αποδεχθεί όλες τις API κυκλοφορίας, όχι μόνο `/decide ́ αιτήματα, και αυτή η συμπεριφορά ήταν undocumented. 3. Η παρακολούθησή μας εντόπισε την κίνηση στο τελικό σημείο `/αποφάσισε' αλλά όχι σε αυτά τα ονόματα hostnames, έτσι οι έλεγχοι πριν από την αλλαγή δεν έδειξαν ότι η άλλη κυκλοφορία ήταν ακόμα ενεργή. 4. Επειδή τα ονόματα υποδοχής και το αποσυρθέν τελικό σημείο μοιράζονται ένα όνομα, οι πρώτες αναφορές πελατών αρχικά ερμηνεύτηκαν ως αναμενόμενα αποτελέσματα της ανακοινωθείσας «/αποφασιστικής» συνταξιοδότησης. Αυτή η καθυστερημένη κλιμάκωση. ** Τι αλλάζουμε ** * ** Παρακολούθηση και προειδοποίηση: ** Προσθέτουμε την παρακολούθηση της κυκλοφορίας και του ποσοστού σφαλμάτων και την ειδοποίηση για `decide.mixpanel.com` και`api-decide.mixpanel.com`, έτσι οι αποτυχίες εντοπίζονται αυτόματα και όχι μέσω αναφορών πελατών. * **Ελεγχος ονόματος: ** Ελέγχουμε όλα τα δημόσια ονόματα API hostnames και routing ψευδώνυμα για παρόμοια μη τεκμηριωμένα σημεία εισόδου, και θα επανεξετάσουμε νέα ονόματα hostnames και ψευδώνυμα πριν πάνε ζωντανά. Παρακολουθούμε επίσης την κίνηση που φτάνει σε κάθε απροσδόκητο όνομα υπολογιστή. * ** Ασφαλέστερες απομακρύνσεις: ** Πριν από οποιαδήποτε μελλοντική αλλαγή σε ένα δημόσιο hostname, θα επιβεβαιώσουμε μηδενική κίνηση σε επίπεδο hostname, και θα εντοπίσουμε και θα επικοινωνήσουμε με οποιαδήποτε έργα εξακολουθούν να το χρησιμοποιούν. * ** Επικοινωνία πελατών: ** Θα ενημερώνουμε εκ των προτέρων τους πελάτες για τις αλλαγές των υλικών υποδομών που επηρεάζουν τα δημόσια ονόματα υποδοχής, συμπεριλαμβανομένης της δημοσίευσής τους σε ένα χρονοδιάγραμμα στο changelog μας. ** Ήδη αναπτυχθεί: ** * Αποκαταστάθηκε «decide.mixpanel.com» και «api-decide.mixpanel.com». * \"/αποφασίζει\" παραμένει συνταξιούχος Κοινές ερωτήσεις. Τα δεδομένα μου επηρεάστηκαν; Μόνο αν το SDK ή ο πληρεξούσιος σας έστειλε αιτήματα για «decise.mixpanel.com» ή «api-decide.mixpanel.com» μεταξύ 15 Οκτωβρίου και 21 Οκτωβρίου. Τα δεδομένα που εστάλησαν εκεί κατά τη διάρκεια αυτού του παραθύρου δεν ελήφθησαν και δεν μπορούν να αποκατασταθούν από το Mixpanel. Εάν διατηρήσατε ένα αντίγραφο αυτών των δεδομένων, μπορείτε να το στείλετε εκ νέου στο Mixpanel χρησιμοποιώντας τα τελικά σημεία API της Κατάποσης, όπως `/εισαγωγή` για εκδηλώσεις. * * * * * Χρειάζεται να αλλάξει τίποτα; ** Όχι, τα domain λειτουργούν ξανά. Σας συνιστούμε να χρησιμοποιήσετε το `api.mixpanel.com`' \(ή `api-eu.mixpanel.com`' /`api-in.mixpanel.com` για την έδρα δεδομένων της ΕΕ και της Ινδίας\) ως τομέα API σας. * * * * * * * * Είναι ` / αποφασίζει ' έρχονται πίσω; Όχι. Παραμένει συνταξιούχος όπως ανακοινώθηκε, και είναι ξεχωριστό από το «decide.mixpanel.com» hostname. Λυπούμαστε για την αναστάτωση. Εάν έχετε ερωτήσεις σχετικά με το έργο σας, παρακαλούμε επικοινωνήστε με την ομάδα του λογαριασμού σας ή Mixpanel Support.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 8 Οκτωβρίου 2026 στις 4:32 μ.μ. UTCinvestigating

   Επί του παρόντος βιώνουμε καθυστερήσεις στον αγωγό κατάποσης δεδομένων μας, ο οποίος επηρεάζει τα δεδομένα σε πραγματικό χρόνο για έργα που εγγράφονται στα προγράμματα των \"ΠΑ, με αποτέλεσμα καθυστερήσεις για ένα υποσύνολο έργων. Ενώ δεν χάνονται δεδομένα, η μηχανική ομάδα μας ερευνά ενεργά το θέμα και εργάζεται για την αποκατάσταση της λειτουργικότητας σε πραγματικό χρόνο το συντομότερο δυνατόν. Εκτιμούμε την υπομονή σας σε αυτό το διάστημα. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 8 Οκτωβρίου 2026 στις 5:32 μ.μ. UTCidentified

   Το θέμα έχει εντοπιστεί και υλοποιείται μια λύση.

3. 8 Οκτωβρίου 2026 στις 6:31 μ.μ. UTCidentified

   Αναγνωρίσαμε την αιτία της καθυστέρησης κατάποσης ως ένα ανάντη θέμα με τον πάροχο αποθήκευσης cloud, το Google Cloud, που επηρεάζει ένα υποσύνολο έργων των ΗΠΑ. Η Google το επιβεβαίωσε αυτό ως θέμα υψηλής προτεραιότητας στο τέλος τους, αλλά δεν έχει παράσχει ακόμα ΕΤΑ. Έχουμε αναπτύξει μετριασμούς για να διασφαλίσουμε μια ομαλή ανάκαμψη μόλις καθαρίσει. Δεν χάνονται γεγονότα. Αυτή είναι αυστηρά μια καθυστέρηση κατάποσης, όλα τα επηρεαζόμενα δεδομένα θα συνεχίσουν να υφίστανται επανεπεξεργασία μόλις επιλυθεί το ζήτημα.

4. 8 Οκτωβρίου 2026 στις 7:30 μ.μ. UTCmonitoring

   Οι μετρήσεις μας δείχνουν ότι η κατάποση έχει καταληφθεί και δεν έχει πλέον καθυστέρηση. Η Google δεν έχει ακόμα επιβεβαιώσει την ανάλυση του υποκείμενου ανάντη ζητήματος στο τέλος τους, έτσι συνεχίζουμε να παρακολουθούμε στενά σε περίπτωση επανάληψης.

5. 8 Οκτωβρίου 2026 στις 9:30 μ.μ. UTCmonitoring

   Καμία αλλαγή από την τελευταία ενημέρωση μας, συνεχίζουμε να παρατηρούμε καμία ενεργή καθυστέρηση κατάποσης στο τέλος μας, και όλα τα συστήματα παραμένουν υγιή. Συνεχίζουμε να παρακολουθούμε στενά.

6. 8 Οκτωβρίου 2026 στις 10:30 μ.μ. UTCmonitoring

   Συνεχίζουμε να παρακολουθούμε για τυχόν περαιτέρω ζητήματα.

7. 8 Οκτωβρίου 2026 στις 11:30 μ.μ. UTCmonitoring

   Τα συστήματα παρέμειναν σταθερά χωρίς επανάληψη της καθυστέρησης κατάποσης. Παρακολουθούμε στενά τα πράγματα ενώ περιμένουμε την τελική επιβεβαίωση από τον πάροχο μας.

8. 9 Οκτωβρίου 2026 στις 12:22 π.μ. UTCresolved

   Το περιστατικό λύθηκε. Το ανάντη ζήτημα με τον πάροχο αποθήκευσης νεφών μας έχει διορθωθεί, και ο αγωγός κατάποσης λειτουργεί κανονικά χωρίς ενεργές καθυστερήσεις. Κανένα συμβάν δεν χάθηκε καθ' όλη τη διάρκεια αυτού του περιστατικού, όλα τα επηρεαζόμενα δεδομένα επαναδιατυπώθηκαν πλήρως. Σας ευχαριστώ για την υπομονή σας σε αυτό το περιστατικό.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 26 Αυγούστου 2026 στις 9:39 μ.μ. UTCinvestigating

   Mixpanel βιώνει υποβαθμισμένη απόδοση API ερωτήματος, με αποτέλεσμα HTTP 500 απαντήσεις όταν ερωτούν εκθέσεις για έργα με US Residency δεδομένων. Τα σχέδια με την Ε.Ε. και IN Data Residency παραμένουν ανεπηρέαστα. Εκτιμούμε την υπομονή σας ενώ οι μηχανικοί μας εργάζονται για την αποκατάσταση της φυσιολογικής λειτουργικότητας. Θα δημοσιεύσουμε ενημερώσεις προόδου στη σελίδα κατάστασης μας. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 26 Αυγούστου 2026 στις 10:11 μ.μ. UTCidentified

   Το θέμα έχει εντοπιστεί και υλοποιείται μια λύση.

3. 26 Αυγούστου 2026 στις 10:28 μ.μ. UTCmonitoring

   Μια διόρθωση έχει εφαρμοστεί, και βλέπουμε βελτιωμένα ποσοστά επιτυχίας για το ερώτημα API. Θα συνεχίσουμε να παρακολουθούμε για να διασφαλίσουμε σταθερότητα.

4. 26 Αυγούστου 2026 στις 10:45 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

5. 8 Σεπτεμβρίου 2026 στις 6:25 μ.μ. UTCpostmortem

   # Mixpanel RCA: Προσωρινή Διακοπή της Υπηρεσίας Ερωτήσεων για τα Προγράμματα των ΗΠΑ 26 Αυγούστου 2026 # Περίληψη Μεταξύ περίπου **2:02 PM και 3:19 PM PT στις 26 Αυγούστου 2026 **, έργα στην περιοχή των ΗΠΑ παρουσίασαν αποτυχίες φόρτωσης αναφορών και την εκτέλεση ερωτήσεων μέσω του Mixpanel UI και ερωτηματολογίου API. Κατά τη διάρκεια αυτού του παραθύρου, κάποια ερωτήματα στην περιοχή απέτυχαν ή επέστρεψαν λάθη. ** Δεν χάθηκαν δεδομένα πελατών και η κατάποση δεδομένων δεν επηρεάστηκε. ** Όλα τα γεγονότα συνέχισαν να συλλέγονται και να αποθηκεύονται κανονικά καθ' όλη τη διάρκεια του συμβάντος· μόλις αποκαταστάθηκε η υπηρεσία ερωτημάτων, όλες οι αναφορές αντανακλούσαν πλήρη, ακριβή δεδομένα χωρίς να απαιτείται δράση του πελάτη. Η αιτία αναγνωρίστηκε ως ένα πρόσφατα ανεπτυγμένο εσωτερικό εργαλείο για την επανάληψη διαγνωστικών ερωτημάτων, μια ικανότητα που χρησιμοποιούν οι μηχανικοί μας για να εκτελέσουν ξανά αντίγραφα προηγούμενων ερωτημάτων για την απόδοση αποσφαλμάτωσης, η οποία έγραψε απροσδόκητα μεγάλες ποσότητες δεδομένων στους δίσκους των εξυπηρετητών ερωτημάτων μας, καταναλώνοντας χωρητικότητα αποθήκευσης που οι διακομιστές πρέπει να λειτουργούν. Όταν αυτοί οι δίσκοι γέμισαν, οι εξυπηρετητές που επηρεάστηκαν βγήκαν εκτός λειτουργίας. Η υπηρεσία αποκαταστάθηκε, οι εξυπηρετητές που είχαν αντίκτυπο επανήλθαν σε λειτουργία, και η εσωτερική εργαλειοθέτηση απενεργοποιήθηκε. Οι εφεδρείες παρακάτω προσθέτουν διασφαλίσεις αποθήκευσης για την αφαίρεση της ικανότητας της εσωτερικής εργαλειοθήκης να καταναλώνει πόρους σε εξυπηρετητές ερωτημάτων, και έχουν σχεδιαστεί για να εμποδίσουν αυτή την κατηγορία αποτυχίας να συμβεί ξανά στο μέλλον. # Τι συνέβη Η μηχανή ερωτημάτων του Mixpanel λειτουργεί σε έναν στόλο διακομιστών που ο καθένας χρησιμοποιεί ένα σύνολο τοπικών όγκων αποθήκευσης για να αποκρυπτογραφήσει τα δεδομένα που απαιτούνται για να απαντήσει στα ερωτήματα γρήγορα. Χωριστά, οι μηχανικοί μας χρησιμοποιούν διαγνωστικά εργαλεία αναπαραγωγής ερωτημάτων, μια ικανότητα που χρησιμοποιούν οι μηχανικοί μας για να αναπαράγουν και να αποσφαλματώνουν την απόδοση ερωτημάτων. Κατά την εφαρμογή του διαγνωστικού ερωτήματος replay εργαλεία σε ένα μεγάλο, σύνθετο ερώτημα, ένα σφάλμα λογισμικού προκάλεσε το ερώτημα replay συλλαμβάνει για να ανεμιστήρα έξω σε ολόκληρο το στόλο, αντί να παραμείνει περιορισμένο σε ένα μόνο διακομιστή. Επιπλέον, προκάλεσε πολύ περισσότερα δεδομένα από όσα σκόπευε να σωθεί χωρίς έγκαιρη έξωση σε έναν μόνο εξυπηρετητή. Στη συνέχεια, δύο παράγοντες διεύρυναν τον αντίκτυπο του ζητήματος: * Ένας ενιαίος πλήρης όγκος αποθήκευσης πήρε ένα διακομιστή πλήρως εκτός λειτουργίας. Κάθε διακομιστής αντιμετωπίζει την κρύπτη του ως ανθυγιεινή αν κάποιος από τους όγκους αποθήκευσης του περάσει ένα όριο χρήσης, ακόμη και όταν όλοι οι άλλοι όγκοι είναι υγιείς. Τα δεδομένα της επανάληψης γράφτηκαν σε έναν συγκεκριμένο τόμο σε κάθε διακομιστή, έτσι οι servers σε όλη την περιοχή απέτυχαν στους υγειονομικούς τους ελέγχους σχεδόν ταυτόχρονα. * Τα όρια καθαρισμού δεν αντιπροσωπεύουν το μέγεθος των δεδομένων. Η προστασία που περιορίζει τα δεδομένα επανάληψης στο δίσκο μέτρησε τα στοιχεία στο επίπεδο εφαρμογής και όχι bytes στο επίπεδο του συστήματος αρχείων, έτσι ένας μικρός αριθμός απροσδόκητα μεγάλων συλλαμβάνει πέρασε τον έλεγχο, ενώ καταναλώνει το μεγαλύτερο μέρος της χωρητικότητας του όγκου. Μαζί, αυτά επέτρεψαν μια ενιαία ροή εργασίας αποσφαλμάτωσης που κανονικά έχει ένα αμελητέο αποτύπωμα για να διακόψει το ερώτημα παραγωγής που εξυπηρετεί σε όλη την περιοχή των ΗΠΑ. # Χρονολόγιο \(Ωρα Ειρηνικού, 26 Αυγούστου 2026\) * ** 2:00 PM** — Πρώτη υπερμεγέθης σύλληψη διαγνωστικής επανάληψης γράφτηκε? όγκοι αποθήκευσης άρχισε να φτάσει την ικανότητά τους και το ποσοστό επιτυχίας ερώτημα άρχισε να μειώνεται λίγο μετά. * **2:17 PM** — Αυτοματοποιημένη ειδοποίηση κάλεσε τον εφημερεύοντα μηχανικό? έρευνα ξεκίνησε αμέσως και επιπλέον μηχανικούς που ασχολούνται. * **2:39 PM** — Κατάσταση σελίδα περιστατικό δημοσιεύτηκε; σε εφαρμογή banner εμφανίζεται στις 2:40 μμ. * **2:53 PM** — Ρίζα αιτία που εντοπίστηκε? προσπάθειες ανάκαμψης ξεκίνησε στην πρώτη πληγείσα ομάδα server. * **3:19 PM** — Υπηρεσία ερωτήματος που αποκαταστάθηκε για τη συντριπτική πλειοψηφία της κυκλοφορίας? η τελική ομάδα server ανακτήθηκε πλήρως στις 3:27 PM. * **3:45 PM** — Το περιστατικό λύθηκε μετά από μια σταθερή περίοδο παρατήρησης. Το διαγνωστικό εργαλείο αναπαραγωγής που πυροδότησε το θέμα απενεργοποιήθηκε πλήρως το ίδιο βράδυ. Η αιτία της ρίζας 1. **Ένα σφάλμα λογισμικού στην επανάληψη των ερωτημάτων μας που προκάλεσε αδέσμευτη γράφει στην αποθήκευση παραγωγής. ** Μια πρόσφατα ανεπτυγμένη ικανότητα για την αναπαραγωγή ερωτημάτων χειρίστηκε λανθασμένα μια συγκεκριμένη κατηγορία πολύπλοκων ερωτημάτων, προκαλώντας την εξάπλωση των συλλεκτών σε κάθε διακομιστή ερωτημάτων στην περιοχή και την εγγραφή πολύ περισσότερων δεδομένων στους θιγόμενους όγκους από ό,τι υποθέτει ο σχεδιασμός. 2. ** Replay αρχεία που καταναλώνονται ικανότητα δίσκων που το ερώτημα εξυπηρετούν εξαρτάται από. ** Το replay tooling έγραψε τα αρχεία του στους τοπικούς δίσκους των εξυπηρετητών ερωτήματος, οπότε το runaway replay δεδομένων εξαντλημένη χωρητικότητα αποθήκευσης οι διακομιστές πρέπει να απαντήσουν σε ερωτήματα. 3. **Ασφαλείς μόνο εν μέρει υπολογίστηκε η συμπεριφορά. ** Η πολιτική καθαρισμού για τα διαγνωστικά στοιχεία επανάληψης περιόρισε τον αριθμό των στοιχείων στο δίσκο, αλλά όχι το συνολικό τους μέγεθος, οπότε δεν ενεπλάκη. Η προειδοποίηση για τους όγκους των αποθηκών σηματοδότησε την ανάπτυξη αλλά δεν κλιμακώθηκε ως κρίσιμη σε βάση ανά υπηρέτη, η οποία καθυστέρησε την ανίχνευση μέχρι να αρχίσουν οι αποτυχίες των ερωτημάτων. # Τι αλλάζουμε Η τελική κατάσταση που χτίζουμε προς: εσωτερικά διαγνωστικά στοιχεία επανάληψης ερωτημάτων αποθηκευμένα σε ειδική αποθήκευση αντικειμένων, που δεν τοποθετούν φορτίο στους διακομιστές ερωτημάτων παραγωγής. Έχει ήδη αναπτυχθεί: * * **Disabled το εσωτερικό εργαλείο ** που προκάλεσε το περιστατικό, και αναδιαμορφώθηκε το υποκείμενο θέμα έτσι διαγνωστικές συλλήψεις περιορίζονται σε ένα μόνο διακομιστή και η συγκεκριμένη κατηγορία ερωτημάτων αντιμετωπίζεται σωστά. * **Έγγραφα της στοχευμένης διαδικασίας ανάκτησης ** που χρησιμοποιούνται κατά τη διάρκεια του συμβάντος, δηλαδή, εκκαθάριση μόνο του επηρεαζόμενου όγκου αποθήκευσης και όχι επανεκκίνηση πλήρων ομάδων server, σε επιχειρησιακά βιβλία μας, μείωση του χρόνου ανάκτησης εάν οποιαδήποτε χωρητικότητα του όγκου τελειώσει στο μέλλον. Σε εξέλιξη: * **Το επίπεδο του συστήματος αρχείων, το μέγεθος-βασισμένο όρια για τα διαγνωστικά στοιχεία επανάληψης **, capping συνολική ψηφιολέξεις στο δίσκο και όχι τον αριθμό στοιχείων, έτσι ώστε υπερμεγέθεις συλλήψεις απορρίπτονται ή εκδιώκονται πριν μπορούν να επηρεάσουν τη χωρητικότητα του όγκου. * **Αυστηρή προειδοποίηση αποθήκευσης **, κλιμακούμενη κορεσμός όγκου ανά συντηρητή ως κρίσιμη πριν να μπορεί να επηρεάσει τους υγειονομικούς ελέγχους ερώτηση. * **Κίνηση ερωτημάτων επανάληψη δεδομένων σε ειδική αποθήκευση αντικειμένων, ** έτσι ώστε να μην καταναλώνει πόρους σε εξυπηρετητές ερωτημάτων παραγωγής. # Κοινές ερωτήσεις * * * * * Χάθηκε κανένα στοιχείο; * * * Όχι. Η κατάποση των δεδομένων δεν επηρεάστηκε καθ' όλη τη διάρκεια του περιστατικού: τα γεγονότα συνέχισαν να συλλέγονται, να βρίσκονται σε ουρά και να αποθηκεύονται κανονικά. Μόνο η δυνατότητα ερωτήσεως διακόπηκε. Μόλις αποκαταστάθηκε η υπηρεσία, όλες οι αναφορές αντανακλούσαν πλήρη δεδομένα. * **Ήταν αποθηκευμένες αναφορές, ταμπλό, ή οι ρυθμίσεις του έργου επηρεάζονται; ** Όχι. Το περιστατικό επηρέασε μόνο την εκτέλεση ερωτημάτων. Τίποτα αποθηκευμένο στο έργο σας δεν άλλαξε. * * * * Γιατί επηρέασε πολλαπλά προγράμματα των ΗΠΑ ταυτόχρονα; ** Τα υπερμεγέθη διαγνωστικά στοιχεία αναπαραγωγής γραμμένα στους δίσκους κάθε διακομιστή ερωτήματος την ίδια σχεδόν στιγμή, και κάθε διακομιστής απομακρύνεται από την υπηρεσία όταν κάποιος όγκος γεμίζει. Η πρόληψη των εσωτερικών εργαλείων από την κατανάλωση αποθήκευσης query-server είναι ένα βασικό μέρος της εργασίας αποκατάστασης μας. * * * * * Πώς αυτό εμποδίζεται να πάει προς τα εμπρός; ** Το θέμα της εργαλειοθήκης επιλύεται και η εργαλειοθήκη παραμένει απενεργοποιημένη μέχρι να τεθούν τα όρια που βασίζονται στο μέγεθος. Η ειδοποίηση αποθήκευσης σφίγγεται ώστε ο κορεσμός να συλλαμβάνεται πριν επηρεάσει την εξυπηρέτηση του ερωτήματος. Δομικά, μετακινούμε τα διαγνωστικά δεδομένα από τους διακομιστές ερωτημάτων παραγωγής εξ ολοκλήρου, έτσι ώστε τα εσωτερικά δεδομένα αποσφαλμάτωσης να μην καταναλώνουν καμία αποθήκευση στους διακομιστές που είναι υπεύθυνοι για την επεξεργασία ερωτημάτων. Ζητάμε συγγνώμη για την διακοπή και για τις αναφορές δεν ήταν διαθέσιμες. Παρακαλούμε επικοινωνήστε μέσω της ομάδας του λογαριασμού σας ή την υποστήριξη με οποιεσδήποτε ερωτήσεις.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 19 Αυγούστου 2026 στις 11:20 μ.μ. UTCidentified

   Αυτή τη στιγμή βιώνουμε προβλήματα με τον πληθυσμό ιδιότητες εκδήλωση σε dropdown μενού. Εκτιμούμε την υπομονή σας, ενώ οι μηχανικοί μας εργάζονται για την αποκατάσταση της λειτουργικότητας. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη@mixpanel.com

2. 20 Αυγούστου 2026 στις 1:04 π.μ. UTCidentified

   Συνεχίζουμε να εργαζόμαστε πάνω σε μια λύση για αυτό το ζήτημα.

3. 20 Αυγούστου 2026 στις 2:52 π.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

4. 20 Αυγούστου 2026 στις 3:05 π.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 6 Αυγούστου 2026 στις 7:19 π.μ. UTCinvestigating

   Γνωρίζουμε ότι το εργαλείο Get-Report στον εξυπηρετητή Mixpanel MCP αποτυγχάνει αυτή τη στιγμή όταν καλείται skip results: false. Η αναφορά μεταδεδομένων δεν επηρεάζεται. Ερευνούμε το θέμα και θα παρέχουμε ενημερώσεις όπως τις έχουμε.

2. 6 Αυγούστου 2026 στις 8:39 π.μ. UTCidentified

   The issue has been identified and fix is being implemented.

3. 6 Αυγούστου 2026 στις 9:12 π.μ. UTCmonitoring

   A fix has been deployed and we're now monitoring the results. Report queries in the Mixpanel MCP server should be functioning normally. We'll continue to watch closely and provide a final update once we've confirmed full resolution.

4. 6 Αυγούστου 2026 στις 1:32 μ.μ. UTCresolved

   This incident has been resolved.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 22 Ιουλίου 2026 στις 8:03 π.μ. UTCinvestigating

   Αυτή τη στιγμή αντιμετωπίζουμε προβλήματα με τον πράκτορα Mixpanel μέσα στο webapp. Η ομάδα μας έχει ειδοποιηθεί και ερευνά το θέμα και εργάζεται για την αποκατάσταση της λειτουργικότητας του. Εκτιμούμε την υπομονή σας καθώς εργαζόμαστε για να επιλύσουμε αυτό το ζήτημα. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 22 Ιουλίου 2026 στις 9:52 π.μ. UTCinvestigating

   η ομάδα συνεχίζει να ερευνά το θέμα και τα επόμενα βήματα. Ευχαριστώ για την υπομονή σου.

3. 22 Ιουλίου 2026 στις 10:55 π.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

4. 22 Ιουλίου 2026 στις 2:47 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 11 Ιουλίου 2026 στις 7:53 π.μ. UTCinvestigating

   Επί του παρόντος βιώνουμε καθυστερήσεις στον αγωγό κατάποσης δεδομένων μας, ο οποίος επηρεάζει τα δεδομένα σε πραγματικό χρόνο για έργα που εγγράφονται στα προγράμματα των \"ΠΑ, με αποτέλεσμα καθυστερήσεις για ένα υποσύνολο έργων. Ενώ δεν χάνονται δεδομένα, η μηχανική ομάδα μας ερευνά ενεργά το θέμα και εργάζεται για την αποκατάσταση της λειτουργικότητας σε πραγματικό χρόνο το συντομότερο δυνατόν. Εκτιμούμε την υπομονή σας σε αυτό το διάστημα. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 11 Ιουλίου 2026 στις 9:17 π.μ. UTCinvestigating

   Συνεχίζουμε να ερευνούμε αυτό το ζήτημα.

3. 11 Ιουλίου 2026 στις 10:15 π.μ. UTCidentified

   Το θέμα έχει εντοπιστεί και υλοποιείται μια λύση.

4. 11 Ιουλίου 2026 στις 12:54 μ.μ. UTCidentified

   Συνεχίζουμε να εργαζόμαστε πάνω σε μια λύση για αυτό το ζήτημα.

5. 11 Ιουλίου 2026 στις 2:25 μ.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

6. 11 Ιουλίου 2026 στις 3:54 μ.μ. UTCresolved

   Το περιστατικό λύθηκε.

7. 16 Ιουλίου 2026 στις 11:47 μ.μ. UTCpostmortem

   # Περίληψη Μεταξύ περίπου **11:35 PM PT στις 10 και 7:19 AM PT στις 11 Ιουλίου 2026 **, κατάποση δεδομένων για έργα του Mixpanel στην περιοχή των ΗΠΑ έτρεξε πίσω έως ~2 ώρες. Στη διάρκεια αυτού του παραθύρου, οι εκθέσεις και τα ταμπλό παρουσίαζαν προσωρινά ελλιπή δεδομένα — πρόσφατα χρονικά διαστήματα θα μπορούσαν να εμφανιστούν ως αιχμηρές, τεχνητές σταγόνες σε μετρήσεις όπως ενεργοί χρήστες ή έσοδα. ** Δεν χάθηκαν δεδομένα. ** Όλα τα γεγονότα ήταν σε αναμονή επί μακρόν και επεξεργάζονταν πλήρως μόλις εκκαθαριζόταν το backlog. Η αιτία προήλθε από τους ελέγχους κατάποσης: για έναν μικρό αριθμό έργων πολύ μεγάλου όγκου, τα ποσοστά κατάποσης που επιτρέψαμε είχαν απομακρυνθεί από την ευθυγράμμιση με την ικανότητα που προβλέπεται για τα έργα αυτά. Οι μεγάλες ιστορικές εισαγωγές — εξ ολοκλήρου νόμιμη χρήση της πλατφόρμας — έγιναν δεκτές ταχύτερα από ό,τι θα μπορούσαν να απορροφήσουν οι υποδομές τους, και δύο ιδιοκτησίες του αγωγού μας μετέτρεψαν την τοπική υπερφόρτωση σε καθυστέρηση σε ολόκληρη την περιοχή. Οι παρακάτω διορθώσεις επαναπροσδιορίζουν τους ελέγχους έτσι ώστε κάθε εισαγωγή, οποιουδήποτε μεγέθους, να διατηρείται αυτόματα εντός ασφαλών ορίων. # Τι συνέβη Ο αγωγός κατάποσης του Mixpanel είναι θραύσης και πολλαπλής αντοχής: τα δεδομένα του κάθε έργου διανέμονται σε ένα σύνολο χωρισμάτων μεγέθους για τον αναμενόμενο όγκο του, και για την υλοτομία, τα γεγονότα από πολλούς πελάτες επεξεργάζονται μαζί σε παρτίδες. Αυτός ο σχεδιασμός παρέχει υψηλή απόδοση, αλλά εξαρτάται από ένα αμετάβλητο: ο ρυθμός με τον οποίο παραδεχόμαστε ότι η κυκλοφορία ενός έργου πρέπει να ταιριάζει με την προβλεπόμενη χωρητικότητα για αυτό. Όταν αυτό ισχύει, ακόμη και οι πολύ μεγάλες εισαγωγές απορροφώνται ομαλά. Εδώ, δεν κράτησε. Ένας μικρός αριθμός από πολύ μεγάλες ιστορικές εισαγωγές δεδομένων αφορούσαν έργα των οποίων τα επιτρεπόμενα ποσοστά κατάποσης είχαν, με την πάροδο του χρόνου, αυξηθεί αρκετά πέρα από την προβλεπόμενη χωριστική τους ικανότητα. Ο υπερβολικός όγκος συγκεντρώθηκε σε συγκεκριμένα χωρίσματα ως ** θερμές κηλίδες **, κορεζόμενος το τμήμα του στόλου που τους εξυπηρετεί. Στη συνέχεια, δύο παράγοντες διευρύνθηκαν: * * * * Batched, multi-tenant επεξεργασία ενίσχυσε τα θερμά σημεία. ** Επειδή τα γεγονότα από πολλούς πελάτες ταξιδεύουν μαζί σε παρτίδες, βραδύτητα και αποτυχίες στα υπερφορτωμένα χωρίσματα καθυστέρησαν τα γεγονότα των μη συνδεδεμένων πελατών που μοιράζονται αυτές τις παρτίδες. * * * * Αυτόματη κλίμακα-up ήταν αναποτελεσματική. ** Η προσθήκη δυναμικότητας δεν μπορεί να διαλύσει ένα θερμό σημείο αυτού του είδους, επειδή τα υπερφορτωμένα χωρίσματα παραμένουν καθηλωμένα στην ίδια υποδομή, και ένα όριο χωρητικότητας σε ένα συστατικό της υποδομής ροής μας εμπόδισε την αύξηση της ικανότητας να τεθεί σε ισχύ. Μαζί, αυτά μετέτρεψαν μια σύντομη, αυτοθεραπευτική επιβράδυνση σε μια πολύωρη καθυστέρηση που απαιτούσε χειροκίνητη παρέμβαση. # Χρονολόγιο \(Ωρα Ειρηνικού, 10–11\1) * **11:35 PM** — Αυτοματοποιημένη ειδοποίηση εντόπισε την κατάποση backlog; εφημερεύων μηχανικός που ενεργοποιήθηκε αμέσως. * * * * 12:49 AM ** — Κατάσταση σελίδα περιστατικό δημοσιεύτηκε; αντίκτυπος μόνο στην περιοχή των ΗΠΑ. * **1:23 AM ** — Η μεγαλύτερη εισοδηματική εισαγωγή σταμάτησε. * **1:55–6:48 AM** — Προοδευτικές μετριασμοί: πρόσθετες πηγές κυκλοφορίας γκαζιασμένες, ορισμένα παραφορτωμένα δεδομένα αναβάλλονται με τη συμφωνία του ιδιοκτήτη πελάτη, η απομόνωση αποτυχίας ενεργοποιήθηκε στον αγωγό, και οι επηρεαζόμενοι κόμβοι υποδομής αντικαταστάθηκαν. * **7:19 AM** — Backlog πλήρως επεξεργασμένο? όλα τα τρέχοντα έργα. Η σελίδα κατάστασης μεταφέρθηκε στην παρακολούθηση και στη συνέχεια λύθηκε μετά από μια σταθερή περίοδο παρατήρησης. Η αιτία της ρίζας 1. **Ποσοστά κατάποσης που δεν ευθυγραμμίζονται με την παρεχόμενη χωρητικότητα. ** Για τα έργα οδήγησης, τα ποσοστά που παραδέχθηκε η πλατφόρμα μας είχαν αυξηθεί από το βήμα με την υποδομή που προβλέπεται γι 'αυτούς, έτσι ώστε οι νόμιμες εισαγωγές υψηλού όγκου ήταν σε ταχύτερη από ό, τι τα χωρίσματα τους θα μπορούσε να απορροφήσει. Αυτή είναι η συστημική βασική αιτία. Οι ίδιες οι εισαγωγές αποτελούσαν νόμιμη χρήση της πλατφόρμας. 2. ** Αντιστοίχιση, επεξεργασία πολλαπλών τενόντων ενίσχυσε την υπερφόρτωση. ** Αποτυχίες στις υπερφορτωμένες κατατμήσεις καθυστέρησαν τα μη συνδεδεμένα γεγονότα των πελατών που μοιράζονται τις ίδιες παρτίδες επεξεργασίας, εξαπλώνοντας ένα τοπικό πρόβλημα σε όλη την πλατφόρμα. 3. **Η κυκλοφορία στα υπερφορτωμένα χωρίσματα δεν μπορούσε να αναδιανεμηθεί. ** Η ανάθεση κατάτμησης σε υπηρεσία στο στρώμα ροής δεν ήταν συνειδητή, έτσι τα θερμά σημεία παρέμειναν καρφωμένα στους ίδιους διακομιστές ανεξάρτητα από το μέγεθος του στόλου — η συνολική χωρητικότητα ήταν επαρκής, αλλά δεν μπορούσε να φερθεί. Ένα όριο κλιμάκωσης σε ένα συστατικό της ροής της υποδομής μας επιδείνωσε αυτό εμποδίζοντας την αύξηση της χωρητικότητας, η οποία καθυστέρησε τη διάγνωση μέχρι οι μηχανικοί να παρέμβουν χειροκίνητα. # Τι αλλάζουμε Η τελική κατάσταση προς την οποία οικοδομούμε: ** τα όρια κατάποσης κάθε έργου ταιριάζουν αυτόματα με την παρεχόμενη ικανότητά του, έτσι ώστε οι εισαγωγές οποιουδήποτε μεγέθους, συμπεριλαμβανομένων των πλήρων ιστορικών επαναπληρώσεων και συγχρονισμούς αποθήκης δεδομένων, να μπορούν να εκτελούνται χωρίς εκ των προτέρων συντονισμό, και ο όγκος ενός έργου εμποδίζεται να επηρεάσει τη φρεσκάδα των δεδομένων κάποιου άλλου.**. Ήδη έχει αναπτυχθεί — βελτιώνοντας το χειρισμό της κατάποσης: * * * * Αυτοσχέδιος χειρισμός hot-spot. ** Η κατανομή της κυκλοφορίας στο στρώμα ροής είναι τώρα αμελητέο φορτίο, η εξάπλωση συμπυκνωμένο φορτίο πιο ομοιόμορφα σε όλο το στόλο, και τα μεμονωμένα προβλήματα στοιχεία είναι τώρα retried χωριστά αντί να κρατήσει το υπόλοιπο της παρτίδας τους - μειώνοντας, αν και δεν εξαλείφουν, τον αντίκτυπο μια τοπική υπερφόρτωση μπορεί να έχει σε μη συνδεδεμένη κυκλοφορία. * ** Αναπροσδιορίστηκαν τα υψηλότερα φορτία εργασίας ** σε κατάλληλα μεγέθη υποδομής, με προτεραιότητα από τον κίνδυνο. Ήδη αναπτυχθεί - αλλάζοντας τον τρόπο λειτουργίας της υπηρεσίας ροής τρίτων: * **Μελετήθηκε και επαναρυθμίστηκε το προφίλ χωρητικότητας του στόλου ** έτσι οι μεμονωμένοι εξυπηρετητές έχουν σημαντικά περισσότερη αίθουσα για συμπυκνωμένο φορτίο, και εργάστηκε με τον πάροχο για την επίλυση του περιορισμού κλιμάκωσης που αντιμετωπίστηκε κατά τη διάρκεια του συμβάντος. Σε εξέλιξη: * * * * Περιορισμός του ποσοστού ευαισθητοποίησης για τις ανάγκες ** — το κλείσιμο των κενών μεταξύ των ατομικών επιτρεπόμενων ορίων του ποσοστού του έργου και της πραγματικής παρεχόμενης ικανότητας κάθε έργου, η επέκταση του ποσοστού περιορισμού στις διαδρομές κατάποσης που προηγουμένως δεν υπήρχαν, και η σύζευξη κάθε μελλοντικής αύξησης του ορίου σε αύξηση της δυναμικότητας, η οποία έχει σχεδιαστεί για να αποτρέψει την επανάληψη αυτής της κατηγορίας κακής ευθυγράμμισης. * * ** Παρακολούθηση όγκου και προειδοποίησης με βάση το φινάλε ** έτσι η κακή ευθυγράμμιση χωρητικότητας ανιχνεύεται και διορθώνεται πριν μπορεί να επηρεάσει οποιονδήποτε πελάτη. * Αξιολογώντας ισχυρότερη απομόνωση φόρτου εργασίας / backlog ανάκτηση προτεραιότητα για χύδην / backfill δρόμους κυκλοφορίας, έτσι οι ιστορικές εισαγωγές έχουν μειώσει τον αντίκτυπο στην ζωντανή κυκλοφορία # Κοινές ερωτήσεις * * * * * Χάθηκε κανένα στοιχείο; * * * Τα γεγονότα ήταν σε αναμονή καθ' όλη τη διάρκεια του περιστατικού και είχαν υποβληθεί σε πλήρη επεξεργασία μόλις εκκαθαριστεί η καθυστέρηση. Οι μετρικές σταγόνες που παρατηρήθηκαν κατά τη διάρκεια του παραθύρου ήταν ένα τεχνούργημα απεικόνισης της καθυστέρησης και αυτοδιορθώθηκε. * * * * Πρέπει να συντονίσει μεγάλες εισαγωγές ή backfills με Mixpanel; ** Όχι - Ο στόχος μας είναι η πλατφόρμα να κρατήσει οποιαδήποτε εισαγωγή μέσα σε ασφαλείς τιμές αυτόματα, έτσι ώστε τα backfills και οι συγχρονισμοί αποθήκη μπορεί να τρέξει χωρίς προγραμματισμό ή ειδοποίηση. Εξακολουθούμε να κινούμε τους ελέγχους σχετικά με την ικανότητα που το παρέχουν. Εν τω μεταξύ, αν σχεδιάζετε μια ασυνήθιστα μεγάλη εισαγωγή ή backfill, σας προτείνουμε συντονισμό με την ομάδα του λογαριασμού σας, ώστε να μπορούμε να επιβεβαιώσουμε την ικανότητα εκ των προτέρων. * * * * * Πώς αυτό εμποδίζεται να πάει προς τα εμπρός; ** Ο συστημικός καθορισμός είναι η σύσφιξη των κενών μεταξύ των ατομικών ορίων των ποσοστών του έργου και της πραγματικής παρεχόμενης ικανότητας του κάθε έργου, και η επέκταση του ρυθμού περιορισμού στις διαδρομές κατάποσης που προηγουμένως στερούνταν — έτσι η υπερφόρτωση αυτού του είδους σταματά κατά την είσοδο. Επιπλέον, ο περιορισμός κλιμάκωσης που παρατάθηκε το περιστατικό είναι σταθερός, ο αγωγός τώρα επαναλαμβάνει μεμονωμένα προβλήματα, έτσι ώστε μια τοπική υπερφόρτωση να έχει πολύ λιγότερο αντίκτυπο στη μη συνδεδεμένη κυκλοφορία, και η μαζική κυκλοφορία απομονώνεται περαιτέρω από τη ζωντανή κυκλοφορία. * * * * Μπορεί μεμονωμένα έργα να δοθεί προτεραιότητα κατά την ανάκτηση; ** Αυτή η ικανότητα δεν υπήρχε κατά τη διάρκεια του συμβάντος — όλα τα έργα ανέκαμψαν με τον ίδιο ρυθμό. Αξιολογούμε τους μηχανισμούς ιεράρχησης των προτεραιοτήτων για την ανάκαμψή τους ως μέρος της συνέχειας μας. Ζητάμε συγγνώμη για την αναστάτωση και για την ανησυχία που προκάλεσαν οι προσωρινά καταθλιπτικές μετρήσεις. Παρακαλούμε επικοινωνήστε μέσω της ομάδας του λογαριασμού σας ή την υποστήριξη με οποιεσδήποτε ερωτήσεις.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 29 Ιουνίου 2026 στις 7:47 μ.μ. UTCinvestigating

   Mixpanel βιώνει υποβαθμισμένη απόδοση με μας API ερωτημάτων, συμπεριλαμβανομένης της αυξημένης λανθάνουσας. Μπορεί να δείτε αναφορές αργής φόρτωσης ή σφάλματα ερωτήματος. Εκτιμούμε την υπομονή σας ενώ οι μηχανικοί μας εργάζονται για την αποκατάσταση της φυσιολογικής λειτουργικότητας. Θα δημοσιεύσουμε ενημερώσεις προόδου στη σελίδα κατάστασης μας. Εάν έχετε οποιεσδήποτε ερωτήσεις, παρακαλούμε επικοινωνήστε με την υποστήριξη.

2. 29 Ιουνίου 2026 στις 9:04 μ.μ. UTCidentified

   Το θέμα έχει εντοπιστεί και υλοποιείται μια λύση.

3. 29 Ιουνίου 2026 στις 10:42 μ.μ. UTCidentified

   Η λανθάνουσα λανθάνουσα λανθάνουσα λανθάνουσα δραστηριότητα έχει σταθεροποιηθεί, αν και η ομάδα μας συνεχίζει να ερευνά την υποκείμενη αιτία της υποβαθμισμένης απόδοσης. Θα συνεχίσουμε να δημοσιεύουμε ενημερώσεις καθώς προχωρά η έρευνά μας. Σας ευχαριστώ για την υπομονή σας.

4. 30 Ιουνίου 2026 στις 2:15 π.μ. UTCmonitoring

   Εφαρμόστηκε μια ρύθμιση και παρακολουθούμε τα αποτελέσματα.

5. 30 Ιουνίου 2026 στις 3:30 π.μ. UTCresolved

   Το περιστατικό λύθηκε.

Αυτόματη μετάφραση από την επίσημη ενημέρωση του συμβάντος.

1. 3 Ιουνίου 2026 στις 8:05 μ.μ. UTCinvestigating

   Mixpanel is currently experiencing a disruption in the ability to invite and delete internal users within organizations. We appreciate your patience while our engineers work to restore this functionality. If you have any questions, please contact [email protected]

2. 3 Ιουνίου 2026 στις 8:17 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 3 Ιουνίου 2026 στις 9:27 μ.μ. UTCresolved

   This incident has been resolved.

1. 2 Ιουνίου 2026 στις 11:02 π.μ. UTCinvestigating

   We are experiencing delays with our data ingestion and shuffling pipeline to projects with all projects. No data is being lost but as a result, real-time data is delayed. We appreciate your patience while our engineers work to restore real-time functionality. If you have any questions, please contact support

2. 2 Ιουνίου 2026 στις 12:31 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2 Ιουνίου 2026 στις 2:31 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2 Ιουνίου 2026 στις 4:53 μ.μ. UTCresolved

   This incident has been resolved.

1. 1 Ιουνίου 2026 στις 2:15 μ.μ. UTCinvestigating

   We are experiencing delays with our data ingestion and shuffling pipeline to projects with US & India data residency. No data is being lost but as a result, real-time data is delayed. We appreciate your patience while our engineers work to restore real-time functionality. If you have any questions, please contact support

2. 1 Ιουνίου 2026 στις 3:08 μ.μ. UTCinvestigating

   We have now identified an ingestion delay for EU projects, and are continuing to investigate the issue. Thank you for your patience.

3. 1 Ιουνίου 2026 στις 3:29 μ.μ. UTCidentified

   The issue has been identified, and a fix is being implemented.

4. 1 Ιουνίου 2026 στις 4:38 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

5. 1 Ιουνίου 2026 στις 7:42 μ.μ. UTCresolved

   This incident has been resolved.

1. 19 Μαΐου 2026 στις 7:03 μ.μ. UTCinvestigating

   A subset of users are currently facing issues accessing boards that they previously had access to view. Our Engineering team is actively investigating and will update shortly.

2. 19 Μαΐου 2026 στις 7:10 μ.μ. UTCidentified

   The issues has been identified and a fix is being implemented. As a workaround boards can be explicitly shared with users who are having issues viewing them currently.

3. 19 Μαΐου 2026 στις 8:23 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 19 Μαΐου 2026 στις 9:18 μ.μ. UTCresolved

   This incident has been resolved.

1. 14 Μαΐου 2026 στις 11:17 μ.μ. UTCinvestigating

   We are experiencing degraded performance with our Query API, including increased latency. You may see slow-loading reports, incomplete query results, query errors, or data discrepancies. We appreciate your patience while our engineers work to restore normal functionality. We will post progress updates on our status page. If you have any questions, please contact support.

2. 14 Μαΐου 2026 στις 11:48 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 15 Μαΐου 2026 στις 10:19 π.μ. UTCidentified

   We are continuing to work on a fix for this issue.

4. 15 Μαΐου 2026 στις 12:28 μ.μ. UTCidentified

   We've continued to make progress on the issue affecting some US projects. Query success rates have returned to normal levels, and the related processing delays have also recovered. A subset of affected projects may still see incomplete data in query results while our recovery process runs. We're actively working on this and will share another update in 2 hours. Impact remains limited to our US region. We do not currently believe any data has been permanently lost.

5. 15 Μαΐου 2026 στις 2:31 μ.μ. UTCidentified

   Recovery is progressing well. Query success rates remain at normal levels, and missing data has now been restored for a portion of affected projects. We're continuing the recovery process for the remaining affected projects and currently estimate full recovery within approximately 3–5 hours. Some customers may still see incomplete data in query results until this work is complete.

6. 15 Μαΐου 2026 στις 4:37 μ.μ. UTCidentified

   We are continuing to work on resolving this issue. Our current estimate for full recovery is approximately 3–5 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

7. 15 Μαΐου 2026 στις 6:47 μ.μ. UTCidentified

   Recovery is continuing to progress and query latency has returned to normal levels. Our current estimate for full recovery is approximately 3–4 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

8. 15 Μαΐου 2026 στις 7:56 μ.μ. UTCidentified

   We are investigating an increase in query latency that appears to be unrelated to the ongoing recovery. You may experience slower-loading reports. Our team is actively looking into the cause and we will provide an update shortly. Recovery is continuing to progress. Our current estimate for full recovery is approximately 3–4 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

9. 15 Μαΐου 2026 στις 9:23 μ.μ. UTCidentified

   Query latency has returned to normal levels. We are continuing to monitor.

10. 15 Μαΐου 2026 στις 10:14 μ.μ. UTCidentified

    Query latency has returned to normal levels and has been resolved. Recovery is continuing to progress, and our current estimate for full recovery is approximately 4–5 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

11. 16 Μαΐου 2026 στις 12:17 π.μ. UTCidentified

    Recovery is continuing to progress. Our current estimate for full recovery is approximately 1-2 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

12. 16 Μαΐου 2026 στις 1:52 π.μ. UTCmonitoring

    A fix has been implemented and we are monitoring the results.

13. 16 Μαΐου 2026 στις 2:50 π.μ. UTCresolved

    This incident has been resolved.

14. 21 Μαΐου 2026 στις 9:43 μ.μ. UTCpostmortem

    # Mixpanel RCA: Transient Data Access Issue, May 14, 2026 ## Summary On Thursday, May 14, 2026 at approximately 2:30 PM PT, a routine but infrequent cleanup operation in Mixpanel's storage system mistakenly removed a portion of production data files in addition to the unused files it was intended to remove. Some customers experienced query errors during the hours that followed. We detected the issue within minutes, deployed mitigations the same evening that returned query success rates and latency to normal, and restored the affected files from backup by 5:15 PM PT on Friday, May 15. Mixpanel's ingestion pipeline was not affected and no event data was lost in transit. ## What happened This incident was triggered by a storage cleanup procedure that runs periodically to remove files no longer referenced by Mixpanel's metadata. The procedure was more involved than usual: it followed a recent enhancement to our file storage strategy that left a set of unused files behind in our storage backend, and addressing them required extending our standard cleanup approach to cover a new code path. As part of executing this extended cleanup, an engineer generated the list of files to delete using a SQL query whose date filter was not strictly earlier than the reference snapshot it was being compared against. As a result, a small set of legitimate production files that had been written in the gap window between the snapshot and the filter date were incorrectly classified as unused and removed. The deletion ran for roughly half an hour before internal alerting caught the resulting query failures and the operation was stopped. The trigger was operator error against an ambiguous runbook, not a defect in the live serving path or in our ingestion pipeline. ## Customer impact Impact unfolded in two phases. The first phase ran from Thursday at approximately 2:30 PM PT until 8:11 PM PT — roughly five and a half hours. During this window, customers across the platform may have seen slower or failed queries when their requests touched files that had been deleted. The breadth and severity varied by project depending on which data each query touched. By 8:11 PM PT, mitigations had fully rolled out — queries automatically retried against an alternate availability zone, and a fallback path was put in place to serve missing files from a backup datastore. After this point, query success rate and latency returned to normal. The second phase lasted from 8:11 PM PT Thursday through approximately 5:15 PM PT Friday, May 15. During this window, fewer than 2% of customers were still affected — specifically, those whose deleted files had not yet been fully restored from backup. The vast majority of these files were recovered by Friday afternoon. A small number of projects \(under 30\) had files that could not be fully recovered from backup, and we are following up with those accounts directly. ## Timeline \(Pacific Time\) * May 14, 2:30 PM — Cleanup operation begins * May 14, 3:11 PM — Internal alerting flags query failures; the cleanup operation is stopped within minutes * May 14, 4:07 PM — Status page banner posted * May 14, 4:45 PM — Mitigation deployed: queries automatically retry against an alternate availability zone * May 14, 7:12 PM — Mitigation deployed: queries fall back to a backup datastore for missing files * May 14, 8:11 PM — Query success rate and latency fully restored to normal levels * May 15, 5:15 PM — File restore from backup complete; status page banner resolved ## Why this happened Several contributing factors lined up. The runbook for this cleanup procedure had ambiguous wording around the ordering and timing of its inputs. It had been recently authored to handle the new file-storage code path and had not gone through a formal review before being used. Our cleanup tooling did not programmatically enforce the safety invariant that the date filter must be strictly before the reference snapshot. That invariant lived only in operator-authored SQL. The extended cleanup was being executed in parallel across two storage layers by two different engineers, which increased the room for error. ## What we're doing to prevent recurrence We have already made or have actively in flight the following changes. We are adding programmatic safeguards to our cleanup tooling so that an input set whose date filter is not safely before the reference snapshot is rejected before any deletion occurs, along with a reconciliation step that flags any production-referenced file before deletion proceeds. Destructive cleanup operations will now run in phased stages, starting with internal projects and pausing for a holding period before any broader execution. Destructive storage operations now require a second engineer to sign off on the exact deletion set and to be present during execution, matching the practice we already follow for database migrations. We have updated the cleanup runbook with explicit guidance on input timing, required safety buffers, and an enforced review process for any runbook covering a destructive operation. Longer term, we are working to eliminate the manual portion of this cleanup procedure entirely and route it through our existing automated cleanup infrastructure, so the class of failure that produced this incident is no longer reachable through human input. ## Closing Reliability and data integrity are foundational to the trust our customers place in Mixpanel, and we recognize the impact this incident had on the teams who rely on us. We are sorry for the disruption. If you have questions about how this incident may have affected a specific project, please reach out to your account team or Mixpanel Support.

1. 13 Μαΐου 2026 στις 4:34 μ.μ. UTCidentified

   Data Volume Monitoring is again experiencing degraded performance due to a recurring upstream provider disruption. We're mitigating now.

2. 13 Μαΐου 2026 στις 9:40 μ.μ. UTCidentified

   We are continuing to work on a fix for this issue.

3. 14 Μαΐου 2026 στις 1:35 μ.μ. UTCresolved

   This incident has been resolved.

1. 12 Μαΐου 2026 στις 5:45 μ.μ. UTCinvestigating

   We are currently investigating an issue that leads to degraded performance of Data Volume Monitoring in a subset of US-based projects. We truly appreciate your patience and apologize for the inconvenience. If you have any questions, please contact support (https://mixpanel.com/get-support).

2. 12 Μαΐου 2026 στις 5:46 μ.μ. UTCidentified

   An upstream service provider outage is causing this issue. We are deploying a fix to mitigate the disruption.

3. 12 Μαΐου 2026 στις 8:24 μ.μ. UTCmonitoring

   A fix has been implemented, and we are monitoring the result.

4. 12 Μαΐου 2026 στις 9:44 μ.μ. UTCresolved

   This incident has been resolved.

1. 6 Μαΐου 2026 στις 12:00 π.μ. UTCinvestigating

   A subset of projects are experiencing issues exporting data to the Snowflake warehouse via Mixpanel pipelines. We are currently investigating this issue.

2. 6 Μαΐου 2026 στις 9:32 π.μ. UTCidentified

   We have identified the issue affecting Snowflake pipeline exports for a subset of projects, and our engineering team is working on a resolution.

3. 6 Μαΐου 2026 στις 8:04 μ.μ. UTCresolved

   This incident has been resolved.

1. 9 Απριλίου 2026 στις 8:03 μ.μ. UTCidentified

   We are currently experiencing an interruption with our credit card processing. Our engineers have identified the issue and are working on a fix.

2. 9 Απριλίου 2026 στις 9:00 μ.μ. UTCmonitoring

   A fix has been deployed, and all impacted accounts have had their billing re-run. If you continue to receive errors, please ensure the card on file is up to date. If you are still experiencing issues, please submit a support ticket.

3. 9 Απριλίου 2026 στις 9:44 μ.μ. UTCresolved

   This incident has been resolved.

1. 16 Μαρτίου 2026 στις 4:50 μ.μ. UTCidentified

   Mixpanel is experiencing increased query latency for projects with EU residency, which may result in HTTP 500 responses when querying or saving reports. Projects with US and IN residency remain unaffected. Our engineering team is working on a resolution.

2. 16 Μαρτίου 2026 στις 7:29 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 16 Μαρτίου 2026 στις 9:47 μ.μ. UTCresolved

   This incident has been resolved.

1. 2 Μαρτίου 2026 στις 9:00 μ.μ. UTCinvestigating

   We are currently experiencing issues with loading Mixpanel.com and are working to restore service as quickly as possible. Our team is investigating the issue and will provide updates as soon as we have more information. Thank you for your patience.

2. 2 Μαρτίου 2026 στις 9:09 μ.μ. UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2 Μαρτίου 2026 στις 9:09 μ.μ. UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2 Μαρτίου 2026 στις 9:53 μ.μ. UTCresolved

   This incident has been resolved. If Mixpanel is still not loading, please clear your cache and cookies.