Mixpanel kesinti geçmişi

1. 21 Ekim 2026 18:04 UTCmonitoring

   We’ve received reports that requests to decide.mixpanel.com are failing. Any traffic sent through decide.mixpanel.com may be affected, including feature flags and event tracking. To restore service now, point requests to api.mixpanel.com (US), api-eu.mixpanel.com (EU), or api-in.mixpanel.com (IN) depending on your project's Data Residency. We’re rolling out a mitigation and monitoring the results. We will post progress updates on our status page. If you have any questions, please contact support.

2. 21 Ekim 2026 20:15 UTCresolved

   This incident has been resolved.

1. 21 Ekim 2026 22:28 UTCmonitoring

   Karar vermek isteyen raporlar aldık.mixpanel.com başarısız. Karar yoluyla gönderilen herhangi bir trafik.mix Panel.com, özel bayraklar ve olay takipleri de etkilenebilir. Hizmeti şimdi geri yüklemek için, projenizin Data Residency'ine bağlı olarak birpi.com (US), api-eu.mixpanel.com (IN) veya api-in.mix Panel.com (IN) Bir mitigation çıkardık ve sonuçları takip ediyoruz. Trafik restore edildiğini görüyoruz. Durum sayfamızda ilerleme güncellemelerini yayınlayacağız. Herhangi bir sorunuz varsa lütfen iletişim desteği ile iletişime geçin.

2. 22 Ekim 2026 01:34 UTCresolved

   Bu olay çözüldü.

3. 24 Ekim 2026 01:58 UTCpostmortem

   # **Mixpanel RCA: Talepleri** [**decide.mixpanel.com**](http://decide.mix Panel.com) **Failed, 15-21, 2026** ## **Summary** 15 Ekim 2026'dan 21 Ekim 2026'ya kadar, "decide.mixpanel.com" ve "api-decide.mix Panel.com" başarısız oldu. Olay takip eden bu etkilenen müşteriler, profil güncelleştirmeleri veya bu hostnameye özel bayrak talepleri genellikle bir proxy aracılığıyla. Bu pencere sırasında bu alana gönderilen olaylar Mix Panel tarafından alınmadı ve bu veriler Mix Panel tarafından restore edilemez. **Traffic, ** "api.mixpanel.com"**,** "api-js.mix Panel.com, "api-eu.mix Panel.com"**, ve ** "api-inmixpanel. Bu hostnamedeki hizmet, “/decide’ endpoint altyapısını kaldırdığımızda geleneksel olarak etkilendi. Ev sahibi isimleri, sistemin bağımlılıklarını yanlış bir anlayış nedeniyle son noktanın bir parçası olarak tedavi edildi. Bu sorunu önlemek için, "decide.mixpanel.com" ve "api-decide.mix Panel.com'un hostnameleri için trafik izleme ekliyoruz. Ayrıca herhangi bir hostname kaldırıldıktan önce ev sahibi isim seviyesinde doğru trafik gerektirecek. **'den beri restore edilmiş servisimiz var; "decide.mixpanel.com" . ## ** neler oldu ** Eski Mix Panel SDKs, [**Legacy Otomatik Olarak Takip Edilmiş Mobile Events**] (https://docs.mix Panel.com/docs/tracking-methods/sdks/ios#acy-otos) [Son noktanın emekliliğini kınadık] (https://docs.mixpanel.com/changelogs#2026-01-26) ve bir süre için "/decide" cevabı geri döndü. Ayrı bir şekilde, "decide.mixpanel.com" ve "api-decide.mix Panel.com" standart API hostnamelerimiz için birlias olarak hareket etti. Örneğin, “decide.mixpanel.com/track’ ingested events aynı şekilde "api-js.mix Panel.com/track" yapıyor. Bazı müşteriler trafiklerini bu hostnamelere göndermek için referanslar veya SDK yapılandırmaları kurdular. 15 Ekim'de 7:40 PM CDT, "/decide' endpoint'in son temizliği sırasında, DNS kayıtlarını ‘decide.mix Panel.com' ve “api-decide.mixpanel.com' için kaldırdık ve yük bakiyemizden hem ev sahibi isimleri kaldırdık. Değişim yapmadan önce, trafiği "/decide' endpoint'in sıfıra düştüğünü doğruladık. Ancak, izlememiz, hostname tarafından yerine uç nokta ile ölçülen trafiği ölçtü. Bu nedenle, "/track" ve "/flags" gibi diğer isteklerin hala bu hostnameler aracılığıyla Mix Panel'e ulaşacağını göstermedi. O zamandan beri, bu hostnameye tüm istekler "/track", "/engage', "/gruplar" ve "/flags" gibi uç noktaları dahil başarısız oldu. * **Ets ve Profiller: ** Etkinlikler, Profiller ve [Ingestion API endpoints] (https://docs.mix Panel.com/reference/ingestion-api) bu penceredeki isimleri asla Mixpanelye ulaşmadık, bu yüzden geri yüklemek için bir kopyasımuz yok. Bu verileri başka yerlerde koruduysanız, proxy logları veya veri deponuz gibi, Ingestion API'nin [/import] (https://docs.mix Panel.com/reference/kiport-events), [/engage,](https://docs.mix Panel.com/reference/pro-set-set-set) ve [/gruplar) * **Ana Sayfalar:** Bu hostnamelere gönderilen özel bayrak talepleri başarısız oldu. SDK'lar, bir var olsaydı son depolanmış değişkene hizmet etti veya aksi takdirde kodunuzda yapılandırılan geri değer. # ## Timeline \(Central Time, 2026\) * ** 15 Ekim 7:40 PM CDT:** Ev sahibi isimlerin kaldırılması uygulanır. "decide.mixpanel.com" ve "api-decide.mix Panel.com" başarısız olmaya başlar. * ** 16 Ekim 5:22 AM CDT:** İlk müşteri raporunu alıyoruz. Başlangıçta planlanan “/decide’ emeklilik ile ilgili olarak anlaşılabilir. * ** 21 Ekim 11:42 AM CDT:** Müşteride yapılan bir artıştan sonra, temsilciler için başarısız olan takip hakkında raporlar aldık, neden olarak ev sahibi isimlerin çıkarılmasını tespit ettik. * ** 21 Ekim 12:26 PM CDT:** Ev sahibi isimleri geri getiriyoruz. “/decide’ emekli olmaya devam ediyor. * ** 21 Ekim 1:51 PM CDT:** Yeniden inşa edilen hostnamelere trafik onaylıyoruz. * ** 21 Ekim 8:34 PM CDT:** Olay çözüldü. ## **Root neden ** 1. " /decide' emeklilik sırasında, "decide.mixpanel.com" ve "api-decide.mixpanel.com" tamamen kaldırıldı. 2. Bu hostnameler tüm API trafiğini kabul etmek için yapılandırıldı, sadece "/decide' istekleri değil ve bu davranış geri alındı. 3. İzlememiz "/decide' endpoint'e trafiği takip etti, ancak bu hostnamelere değil, bu nedenle önceden değişim kontrolleri diğer trafiğin hala aktif olduğunu göstermedi. 4. Çünkü ev sahibi isimleri ve emekli son nokta bir isim paylaşıyor, erken müşteri raporları başlangıçta "/decide' emeklilikinin beklenen etkileri olarak yorumlandı. Bu gecikmiş escalasyon. ## **Değiştiğimiz şey** * ** Takip ve Uyarı:** Trafik ve hata kontrolü ekliyoruz ve “decide.mixpanel.com” ve “api-decide.mix Panel.com” için uyarı yapıyoruz, bu yüzden başarısızlıklar müşteri raporları üzerinden otomatik olarak tespit edilir. * **Hostname denetimi:** Tüm kamu API hostnamelerini denetim altına alıyoruz ve benzer bir geri dönüş noktaları için biralar gönderiyoruz ve yeni ev sahibi isimleri ve yaşamadan önce aliazlar inceleyeceğiz. Ayrıca beklenmedik bir hostnamede gelen trafiği takip ediyoruz. * **Safer kaldırılması:** Herhangi bir gelecek bir halka ev sahibi adı değiştirmeden önce, ev sahibi isim seviyesinde sıfır trafiği onaylayacağız ve hala kullanarak herhangi bir projeye ulaşın. * **Müşteri iletişimi:** Müşterilere kamusal hostnameleri etkileyen maddi altyapı değişikliklerini önceden vereceğiz, onları değişimlogumuzda bir zaman çizelgesinde yayınlamaları da dahil. **Already dağıtılmıştı:** * Geri yükleme "decide.mixpanel.com" ve "api-decide.mix Panel.com' * ‘/decide’ emekli olmaya devam ediyor ### **Common soruları** * **Verilerim etkilendi mi?** Sadece SDK veya proxy'niz "decide.mixpanel.com" veya "api-decide.mix Panel.com" 15 Ekim ve 21 Ekim tarihleri arasında. Bu pencere sırasında gönderilen veriler alındı ve Mix Panel tarafından restore edilemezdi. Bu verilerin bir kopyasını koruduysanız, Ingestion API uç noktalarımızı “/import” gibi kullanarak Mix Panel'i tekrarlayabilirsiniz. * **Bir şeyi değiştirmem gerekiyor mu?** Hayır, alanlar tekrar çalışır. "api.mixpanel.com" \ (veya "api-eu.mix Panel.com' / "api-in.mix Panel.com'u AB ve Hindistan veri uzmanlığınız için) API alanınız olarak kullanmayı tavsiye ederiz. * **Is ** “/decide’ geri dönüyor mu? Hayır. Açıklandığı gibi emekli kalır ve “decide.mixpanel.com’un ev sahibi isimlerinden ayrıdır. Bu rahatsızlık için üzgünüz. Projeniz hakkında sorularınız varsa lütfen hesap ekibinizle iletişime geçin veya Mix Panel Destek.

Resmî olay güncellemesinden otomatik olarak çevrilmiştir.

1. 8 Ekim 2026 16:32 UTCinvestigating

   Şu anda, ABD projelerinde kayıtlı olan projeler için gerçek zamanlı verileri etkileyen veri boru hattımızda gecikmeler yaşıyoruz, bu da bir alt proje için gecikmelere yol açıyor. Hiçbir veri kaybedilmediğinde, mühendislik ekibimiz aktif olarak gerçek zamanlı işlevselliği mümkün olduğunca çabuk geri yüklemek için çalışıyor. Bu süre boyunca sabrınızı takdir ediyoruz. Herhangi bir sorunuz varsa lütfen iletişim desteği ile iletişime geçin.

2. 8 Ekim 2026 17:32 UTCidentified

   Sorun tespit edildi ve bir düzeltme uygulanır.

3. 8 Ekim 2026 18:31 UTCidentified

   Bulut depolama sağlayıcımız, Google Cloud ile bir alt üst düzey ABD projesini etkileyen yüksek gecikme nedeni tespit ettik. Google bunu sonunda yüksek öncelikli bir konu olarak doğruladı ancak henüz bir ETA vermedi. Bir kez net bir kurtarma sağlamak için mitigations dağıttık. Hiçbir olay kaybolmaz. Bu kesinlikle bir kesinti gecikmedir, etkilenen tüm veriler sorunu çözdüğünde yeniden işlemeye devam edecektir.

4. 8 Ekim 2026 19:30 UTCmonitoring

   Metrics show ingestion yakalandı ve artık gecikme yaşamadı. Google, alt üst düzey konuyla ilgili henüz doğrulanmadı, bu yüzden recurrence durumunda yakından izlemeye devam ediyoruz.

5. 8 Ekim 2026 21:30 UTCmonitoring

   Son güncellememizden bu yana hiçbir değişiklik yok, sonumuzda aktif ingestion gecikmesini gözlemlemeye devam ediyoruz ve tüm sistemler sağlıklı kalıyor. yakından izlemeye devam ediyoruz.

6. 8 Ekim 2026 22:30 UTCmonitoring

   Daha fazla sorun için izlemeye devam ediyoruz.

7. 8 Ekim 2026 23:30 UTCmonitoring

   Sistem, ingestion gecikmesinin recurrence ile stabil kaldı. Upstream sağlayıcımızdan nihai onay için beklerken şeylere yakın bir göz tutuyoruz.

8. 9 Ekim 2026 00:22 UTCresolved

   Bu olay çözüldü. Bulut depolama sağlayıcımızla olan üst düzey sorun düzeltildi ve ingestion hattımız normalde aktif gecikmelerle çalışmıyordu. Bu olay boyunca hiçbir olay kaybedilmedi, etkilenen tüm veriler tamamen yeniden işlendi. Bu olay boyunca sabrınız için teşekkür ederiz.

Resmî olay güncellemesinden otomatik olarak çevrilmiştir.

1. 26 Ağustos 2026 21:39 UTCinvestigating

   Mixpanel, ABD Data Residency ile projeler için raporlar sorgularken HTTP 500 yanıtını deneyimliyor. AB ve IN Data Residency ile projeler etkilenmez. Mühendislerimiz normal işlevselliği geri yüklemek için çalışırken sabrınızı takdir ediyoruz. Durum sayfamızda ilerleme güncellemelerini yayınlayacağız. Herhangi bir sorunuz varsa lütfen iletişim desteği ile iletişime geçin.

2. 26 Ağustos 2026 22:11 UTCidentified

   Sorun tespit edildi ve bir düzeltme uygulanır.

3. 26 Ağustos 2026 22:28 UTCmonitoring

   Bir düzeltme uygulandı ve Sorgu API için gelişmiş başarı oranları görüyoruz. istikrar sağlamak için izlemeye devam edeceğiz.

4. 26 Ağustos 2026 22:45 UTCresolved

   Bu olay çözüldü.

5. 8 Eylül 2026 18:25 UTCpostmortem

   # Mix Panel RCA: ABD Projeler için Geçici Sorgu Servisi 26 Ağustos 2026 # Özet Yaklaşık **2:02 PM ve 3:19 PM PT, 26 Ağustos'ta, ABD'deki projeler Mix Panel UI ve Query API aracılığıyla sorgular deneyimli başarısızlıklar gönderdi. Bu pencere sırasında, bölgedeki bazı sorgular başarısız ya da geri döndü. **Hiçbir müşteri verileri kaybedilmedi ve veri kesintisi etkilenmedi.** Tüm olaylar olay boyunca normalde toplanmaya ve saklanmaya devam etti; bir kez sorgu hizmeti restore edildi, tüm raporlar gerekli hiçbir müşteri eylemiyle tam, doğru verileri yansıttı. Sebep, son zamanlarda teşhis sorgu replay için iç bir araç olarak tespit edildi, mühendislerimiz önceki sorguların tekrar kopyalarını debug performansa geri almak için kullandıkları bir yetenek, bu beklenmedik bir şekilde sorgu sunucularımızın disklerine büyük miktarda veri yazdılar, depolama kapasitelerini tüketmek için sunucularımızın çalışması gerekir. Bu diskler dolduğunda, etkilenen sunucular kendilerini hizmetten çıkardı. Servis restore edildi, etkilenen sunucular online geri getirildi ve iç araç devre dışı bırakıldı. Aşağıdaki remediasyonlar, iç araçlamanın sorgu sunucularına kaynak kullanma yeteneğini ortadan kaldırmak için depolama korumalarını ekler ve bu başarısızlık sınıfın gelecekte tekrar gerçekleşmesini engellemek için tasarlanmıştır. # Ne oldu Mix Panel'in sorgu motoru, her birinin sorguları hızlı bir şekilde cevaplaması için gereken yerel depolama hacimlerinin bir setini kullandığı bir sunucu üzerinde çalışır. Ayrı bir şekilde, mühendislerimiz teşhis sorgu yeniden oynama aracı kullanıyor, mühendislerin yeniden ve debug sorgu performansı için kullanmasına olanak sağlıyor. Tanık sorguyu büyük, karmaşık bir sorguya tekrarlarken, bir yazılım bug, geri kalan tek bir sunucuya sınırlı kalmak yerine tüm filoda fanaksiyona neden oldu. Ek olarak, tek bir sunucuda zamanında tahliye olmadan kurtarılması planlanandan çok daha fazla veriye yol açtı. İki faktör daha sonra konunun etkisini genişletti: * Tek bir tam depolama hacmi tamamen hizmet dışına bir sunucu aldı. Her sunucu, depolama hacimlerinden herhangi biri bir kullanım eşini geçtiğinde, diğer tüm hacimlerin sağlıklı olduğu durumlarda bile önbellekini sağlıksız davranır. Replay verileri her sunucuda belirli bir hacim için yazılmıştır, bu yüzden bölgedeki sunucular neredeyse aynı anda sağlık kontrollerini başarısız oldu. * Temizleştirme sınırları veri büyüklüğü için hesap vermedi. Dosya sistemi seviyesindeki astes yerine diskteki replay verilerini sınırlamak, bu nedenle küçük sayıda beklenmedik büyük yakalama, hacmin kapasitesinin çoğunu tüketirken kontrolünü geçti. Birlikte, bunlar normal olarak ABD bölgesinde hizmet eden üretim sorgularını kesmek için uygun olmayan bir akışa izin verdi. # Timeline \(Pacific Time, 26 Ağustos 2026\) * **2:00 PM** - İlk üst düzey teşhis replay yakalama yazılmıştır; depolama hacimleri kapasitelerine ulaşmaya ve sorgu başarı oranını kısa bir süre sonra düşmeye başladı. * **2:17 PM** - Otomatik uyarılama sayfası on-call mühendisi; soruşturma hemen başladı ve ek mühendisler meşguldü. * **2:39 PM** - Durum sayfası olayı yayınlandı; 2:40 PM'de görüntülenen poster. * **2:53 PM** - Kök neden tespit edildi; kurtarma çabaları ilk etkilenen sunucu grubuna başladı. * **3:19 PM** - Trafik büyük çoğunluğu için restore edilen Sorgu servisi; son sunucu grubu tamamen 3:27 PM'de kurtarıldı. * **3:45 PM** - Olay istikrarlı bir gözlem dönemi sonra çözüldü. Sorunu tetikleyen teşhis aracı aynı akşam tamamen devre dışı bırakıldı. # Kök neden 1. ** Sorgu replay aracımızda bir yazılım, yayınlanmamış olmayan üretim depolamasına neden oldu. ** Son zamanlarda, sorguları belirli bir karmaşık sorgu sınıfını yanlış üretebilme yeteneği, bölgedeki her sorgu sunucusuna yayılmaya ve tasarımdan çok daha fazla veri yazmaya neden oluyor. 2. **Replay dosyaları, hizmet eden disk kapasitesinin tüketilmesine bağlıdır.** Replay aracıing dosyalarını sorgu sunucularının yerel disklerine yazdı, bu yüzden runaway replay veri depolama kapasitesi sunucuların sorgulara cevap vermeleri gerekiyor. 3. **Güvenli Muhafızlar sadece davranış için kısmen hesaplanırlar.** Tanık replay verileri için temizleme politikası diskteki öğeleri sınırlıyor, ancak toplam büyüklüğü değil, bu yüzden meşgul değildi. Depolama hacimlerine dair uyarı, büyümeyi ancak sorgu başarısızlıkları başlayana kadar geciken bir per-server temelinde kritik olarak yükseltilmedi. #Değiştiğimiz şey Binaya doğru inşa ettiğimiz son durum: Özel nesne depolamasında depolanan iç teşhis sorgu replay verileri, üretim sorgu sunucularına hiçbir yük koymaz. Zaten dağıtılmıştı: * ** Olaya neden olan içsel aracılık edindi ve alt konuyu düzeltti, böylece teşhis yakalamaları tek bir sunucuya ve belirli sorgu sınıfına doğru işlenir. * ** Olay sırasında kullanılan hedefli kurtarma prosedürüne izin verdi, i.e., yalnızca tüm sunucu gruplarına yeniden başlamak yerine etkilenen depolama hacmini açıklayarak, operasyonel çalışma kitaplarımızda, gelecekte herhangi bir hacmin kapasitesi tükeniyorsa kurtarma zamanı. İlerleme: * **Filesystem- level, boyut tabanlı limitler teşhis replay data**, öğe sayılarından ziyade diskte toplam Bytes kapping, bu yüzden uzun yakalamalar hacmin kapasitesini etkilemeden önce reddedilir veya tahliye edilir. * **Strikter depolama uyarısı**, sorgu sağlığı kontrollerini etkilemeden önce uyarılanan per-server hacminin azalması. * **Moving query veriyi özel nesne depolamasına yeniden oynatıyor,** bu yüzden üretim sorgu sunucularına kaynak yok. # Ortak sorular * ** Herhangi bir veri kayboldu mu?** No. Data ingestion olay boyunca etkilenmedi: olaylar toplanmaya devam etti, kuyruklandı ve normalde depolandı. Sadece sorgulama yeteneği kesintiye uğradı. Servis restore edildikten sonra, tüm raporlar tam verileri yansıtıyordu. * **Finans raporları, panoları veya proje ayarları etkilenen mi?** Hayır. Olay sadece sorgu yürütmesini etkiledi. Projenizde saklanan hiçbir şey değişmedi. * ** Bir zamanlar birden fazla ABD projesini neden etkiledi?** Her sorgu sunucusunun disklerine neredeyse aynı anda yazılmış geniş çaplı tanı replay verileri ve her sunucu bir hacim doldururken hizmetten kendini kaldırır. Sorgu-server depolamasını önlemek, remediasyon çalışmalarımızın temel bir parçasıdır. * **Bu nasıl ileriye gidiyor?** Araç sorunu çözülür ve araç boyutu temelli sınırlar yerinde olana kadar devre dışı kalır. Depolama uyarıları bu kadar saturasyon, hizmet eden sorguyu etkilemeden önce yakalanır. Yapısal olarak, tam olarak üretim sorgu sunucularından teşhis verileri hareket ediyoruz, bu yüzden internal debugging verileri sorgu işlemeden sorumlu sunucularda depolamayacaktır. Bozukluk için özür dileriz ve zaman raporları mevcut değildi. Lütfen hesabınız ekibinden veya herhangi bir soru ile destek alın.

Resmî olay güncellemesinden otomatik olarak çevrilmiştir.

1. 19 Ağustos 2026 23:20 UTCidentified

   Şu anda aşağı menülerde olay özellikleri ile ilgili sorunlar yaşıyoruz. Sabrınızı takdir ederiz, mühendisler işlevsellik geri yüklemek için çalışırken. Herhangi bir sorunuz varsa lütfen [email protected] ile iletişime geçin

2. 20 Ağustos 2026 01:04 UTCidentified

   Bu sorun için bir düzeltme üzerinde çalışmaya devam ediyoruz.

3. 20 Ağustos 2026 02:52 UTCmonitoring

   Bir düzeltme uygulandı ve sonuçları takip ediyoruz.

4. 20 Ağustos 2026 03:05 UTCresolved

   Bu olay çözüldü.

Resmî olay güncellemesinden otomatik olarak çevrilmiştir.

1. 6 Ağustos 2026 07:19 UTCinvestigating

   We are aware that the Get-Report tool in the Mixpanel MCP server is currently failing when called with skip_results: false. Report metadata is unaffected. We are investigating the issue and will provide updates as we have them.

2. 6 Ağustos 2026 08:39 UTCidentified

   The issue has been identified and fix is being implemented.

3. 6 Ağustos 2026 09:12 UTCmonitoring

   A fix has been deployed and we're now monitoring the results. Report queries in the Mixpanel MCP server should be functioning normally. We'll continue to watch closely and provide a final update once we've confirmed full resolution.

4. 6 Ağustos 2026 13:32 UTCresolved

   This incident has been resolved.

1. 22 Temmuz 2026 08:03 UTCinvestigating

   Şu anda webapp içinde Mix Panel ajanı ile ilgili sorunlar yaşıyoruz. Mühendislik ekibimiz uyarılandı ve sorunu araştırıyor ve işlevselliğini geri yüklemek için çalışıyor. Bu konuyu çözmek için çalıştığımız gibi sabrınızı takdir ediyoruz. Herhangi bir sorunuz varsa lütfen iletişim desteği ile iletişime geçin.

2. 22 Temmuz 2026 09:52 UTCinvestigating

   takım sorunu ve bir sonraki adımları araştırmaya devam ediyor. Sabrınız için teşekkürler.

3. 22 Temmuz 2026 10:55 UTCmonitoring

   Bir düzeltme uygulandı ve sonuçları takip ediyoruz.

4. 22 Temmuz 2026 14:47 UTCresolved

   Bu olay çözüldü.

Resmî olay güncellemesinden otomatik olarak çevrilmiştir.

1. 11 Temmuz 2026 07:53 UTCinvestigating

   Şu anda, ABD projelerinde kayıtlı olan projeler için gerçek zamanlı verileri etkileyen veri boru hattımızda gecikmeler yaşıyoruz, bu da bir alt proje için gecikmelere yol açıyor. Hiçbir veri kaybedilmediğinde, mühendislik ekibimiz aktif olarak gerçek zamanlı işlevselliği mümkün olduğunca çabuk geri yüklemek için çalışıyor. Bu süre boyunca sabrınızı takdir ediyoruz. Herhangi bir sorunuz varsa lütfen iletişim desteği ile iletişime geçin.

2. 11 Temmuz 2026 09:17 UTCinvestigating

   Bu konuyu araştırmaya devam ediyoruz.

3. 11 Temmuz 2026 10:15 UTCidentified

   Sorun tespit edildi ve bir düzeltme uygulanır.

4. 11 Temmuz 2026 12:54 UTCidentified

   Bu sorun için bir düzeltme üzerinde çalışmaya devam ediyoruz.

5. 11 Temmuz 2026 14:25 UTCmonitoring

   Bir düzeltme uygulandı ve sonuçları takip ediyoruz.

6. 11 Temmuz 2026 15:54 UTCresolved

   Bu olay çözüldü.

7. 16 Temmuz 2026 23:47 UTCpostmortem

   # Özet Yaklaşık **11:35 PM PT 10 Temmuz'da ve 7:19 AM PT 11 2026 - ABD bölgesinde Mix Panel projeleri için veri kesintisi iki saate kadar geride kaldı. Bu pencerede, raporlar ve panolar geçici olarak eksik veriler gösterdi - son zamanlarda aralıklar aktif kullanıcılar veya gelir gibi ölçümlerde keskin, yapay damlalar görünebilir. ** Hiçbir veri kaybedilmedi. ** Tüm olaylar sürekli olarak sıralandı ve gerilog temizlendikten sonra işlendi; metrikler kendi başlarına doğru değerlere geri döndüler, hiçbir müşteri eylemi gerekli değildi. Sebep, ingestion kontrollerimizde ortaya çıktı: Küçük bir çok yüksek hacimli proje için, izin verilen ingestion oranları, bu projeler için kapasiteye uygun olarak ayarlandı. Büyük tarihsel ithalat - platformun tamamen meşru kullanımı - bu nedenle altyapılarının absorbe edebileceğinden daha hızlı kabul edildi ve boru hattımızın iki özelliği yerelleştirilmiş aşırılıkların bir bölgeye kadar gecikmeye yol açtı. Gerçek o kontrollerin altındaki düzeltmeler, böylece herhangi bir ithalat, herhangi bir boyutta, otomatik olarak güvenli sınırlar içinde tutulur. # Ne oldu Mix Panel'in engestion boru hattı sharded ve multi-tenant: Her projenin verileri beklenen hacmi için bir dizi bölümle dağıtılır ve çoğu müşteriden gelen olaylar birlikte işlenir. Bu tasarım yüksek verimlilik sağlar, ancak bir değişkene bağlıdır: Bir projenin trafiğini kabul ettiğimiz oranı bunun için kapasiteye uygun olmalıdır. Bu değişmez tutarken, çok büyük ithalat bile sorunsuz bir şekilde absorbe edilir. İşte, tutmadı. Çok büyük bir tarihsel veri ithalatı, zaman içinde ingestion oranlarına izin verilen projeler üzerinde koştu, geçici bölme kapasitesinin ötesinde iyi büyüdü. Aşırı hacim, **hot spotlar** olarak belirli bölümlere yoğunlaştı, onlara hizmet eden akış filosunun kısmını atla. İki faktör sonra etkisini genişletti: * **Batched, multi-tenant işleme sıcak noktaları güçlendirdi.** Çünkü birçok müşteriden gelen olaylar, aşırı bölmelerdeki yavaşlık ve başarısızlıklar, bu topluları paylaşan ilişkili olmayan müşterilerin olayları geciktirdi. * **Otomatik ölçeklendirme etkisizdi.** Kapasite eklemek bu tür sıcak bir noktayı çözemez, çünkü aşırı bölmeler aynı altyapıya kilitlenir ve akış altyapımızın bir bileşeninde bir kapasite limiti, ek kapasitemizi etkileyerek engelledi. Birlikte, bunlar, manuel müdahale gerektiren çok saatlik bir gecikmeye kısa, kendini kınayan ne olmalıdır. # Timeline \(Pacific Time, 10-11\) * **11:35 PM** – İngestion backlog'u tespit eden otomatik uyarı; on-call mühendisi hemen meşgul. * **12:49 AM** - Durum sayfası olayı yayınlandı; ABD bölgesine sadece etkilendi. * **1:23 AM** – En büyük katkıda bulunan ithalat duraklandı. * **1:55-6:48 AM ** - İlerici mitigations: ek trafik kaynakları throttled, belirli geri kalan veriler kendi anlaşma ile ertelendi, arıza izolasyonu boru hattında etkinleştirdi ve etkilenen altyapı düğümleri değiştirildi. * **7:19 AM** – Backlog tamamen işlendi; mevcut tüm projeler. Durum sayfası izlemeye taşındı, sonra istikrarlı bir gözlem periyodundan sonra çözdü. # Kök neden 1. **Engestion oranı, geçici kapasiteyle yanlış sınırlar.** Sürücü projeleri için, kabul edilen platformlarımızın oranları, onlar için verilen altyapı ile adımdan büyüdü, bu nedenle meşru yüksek hacimli ithalat, bölümlerinden daha hızlı bir şekilde faydalanabiliyordu. Bu sistemsel kök nedenidir. ithalat kendileri platformun meşru bir kullanımıydı. 2. **Batched, multi-tenant işleme aşırı yüklemeyi güçlendirdi.** Aşırı bölmelerdeki başarısızlıklar, ilgili müşterilerin olayları ile aynı işleme toplularını paylaşıyor, platformda yerelleştirilmiş bir problem yayılıyor. 3. **Kayıtlı bölmelere yönelik araştırmalar yeniden dağıtılamaz.** Akış katmanında yer alma-server ataması yük-aware değildi, bu yüzden sıcak noktalar filo büyüklüğüne bakılmaksızın aynı sunuculara alındı - toplam kapasite yeterliydi, ancak ayıklanamadı. Akış altyapımızın bir bileşeninde ölçeklendirme limiti bunu, mühendislere manuel olarak müdahale edene kadar ölçeklendirmeyi engellemekle birleştirir. #Değiştiğimiz şey Binaya doğru inşa ettiğimiz son durum: ** Tüm proje yetersizlik limitleri otomatik olarak teslim edilmiş kapasiteyle eşleştirilir, böylece tam tarihsel geri dolumlar ve veri depo senkronizasyonları dahil olmak üzere herhangi bir boyut ithal edebilir ve bir projenin hacmi başka bir veri tazeliğini etkilemeye engellenir.**. Daha şimdiden konuşuluyor - ingestion işlemlerini geliştirmek: * ** Sıcak nokta işlemeyi geliştirdim.** Akış katmanındaki trafik dağılımı şimdi yük-aware, filosunda daha da yoğunlaştı ve bireysel sorun öğeleri şimdi geri kalanının tutulması yerine ayrı ayrı olarak yeniden beslenmektedir - ortadan kaldırmamasına rağmen, yerelleştirilmiş bir aşırı yüklemenin ilgili olmayan trafik üzerinde etkisi olabilir. * **En yüksek hacimli iş yüklerini tahmin edin; uygun büyüklükteki altyapıya, riskle öncelik verdi. Zaten dağıtılmıştı - üçüncü taraf akış hizmetini nasıl işlettiğimizi değiştirmek: * ** Filonun kapasite profilini tekrarladı ve geri çekildi ** böylece bireysel sunucular yoğun yük için çok daha fazla oda var ve olay sırasında karşılaşılan ölçeklendirme sınırlamasını çözmek için sağlayıcı ile çalıştı. İlerleme: * **Capacity-aware oranı sınırlaması - bireysel olarak verilen proje oranı limitleri ve her projenin gerçek teslim kapasitesi, daha önce eksik olan yollara sınırlamak ve herhangi bir gelecekteki limit artışını tekrarlamak için tasarlanmıştır. * **Finer-grained volume izleme ve uyarılama** bu kadar kapasite yanlışlığı tespit edilir ve herhangi bir müşteriyi etkilemeden önce düzeltilir. * Daha güçlü iş yük izolasyonu / gerilog kurtarma, toplu / geri yükleme trafiği yollarına öncelik verir, bu yüzden tarihsel ithalat canlı trafik üzerindeki etkisini azaltmıştır # Ortak sorular * ** Herhangi bir veri kayboldu mu?** No. Etkinlikler olay boyunca oldukça sıralandı ve gerilog temizlendikten sonra tamamen işlendi. Pencere sırasında görülen herhangi bir metrik damla, gecikme ve kendini kurtarılanın bir göstergesiydi. * ** Büyük ithalat veya Mix Panel ile geri yüklemeleri koordine etmem gerekiyor mu?** Hayır, Amacımız, güvenli oranlarda otomatik olarak herhangi bir ithalat tutmak için platform içindir, böylece depo ve depo senkronizasyonları zamanlama veya fark olmadan çalıştırılabilir. Biz hala bunu teslim eden kapasite farkında kontrolleri yapıyoruz. Bu arada, alışılmadık derecede büyük bir ithalat ya da geri yüklemeyi planlıyorsanız, hesap ekibinizle koordinasyonu tavsiye ederiz, böylece önceden kapasiteyi onaylayabiliriz. * **Bu nasıl ileriye gidiyor?** Sistemsel düzeltme, bireysel olarak verilen proje oranı limitleri ile her projenin gerçek teslim edilen kapasitesi arasında boşlukları sıkılaştırır ve daha önce eksik olan ingestion yollarına sınırlamak - bu tür aşırı yükleme kabul edilir. Buna ek olarak, olayı uzatan ölçeklendirme sınırlaması, boru hattı şimdi ayrı ayrı ayrı ayrı ayrı ayrı ayrı ayrı ayrı ayrı ayrı ayrı ayrı bir aşırı yükleme ile ilgili olmayan trafik üzerinde çok daha az etkiye sahiptir ve toplu trafik canlı trafikten daha izole edilmiştir. * ** Bireysel projeler kurtarma sırasında önceliklenebilir mi?** Bu yetenek olay sırasında yoktu - tüm projeler aynı oranda iyileşti. Takip çalışmamızın bir parçası olarak gerilog kurtarma için öncelik mekanizmaları değerlendiriyoruz. Bozukluk için özür dileriz ve geçici olarak depresif ölçümlerin neden olduğu endişe için. Lütfen hesabınız ekibinden veya herhangi bir soru ile destek alın.

Resmî olay güncellemesinden otomatik olarak çevrilmiştir.

1. 29 Haziran 2026 19:47 UTCinvestigating

   Mix Panel, Sorgu API ile bozulan performansı deneyimliyor, artan gecikme dahil. Yavaş yükleme raporları veya sorgu hataları görebilirsiniz. Mühendislerimiz normal işlevselliği geri yüklemek için çalışırken sabrınızı takdir ediyoruz. Durum sayfamızda ilerleme güncellemelerini yayınlayacağız. Herhangi bir sorunuz varsa lütfen iletişim desteği ile iletişime geçin.

2. 29 Haziran 2026 21:04 UTCidentified

   Sorun tespit edildi ve bir düzeltme uygulanır.

3. 29 Haziran 2026 22:42 UTCidentified

   Sorgu latency stabilize edilmiş olsa da, ekibimiz bozulan performansın temel nedenini incelemeye devam ediyor. Araştırma ilerlemelerimiz olarak güncellemeler yayınlamaya devam edeceğiz. Sabrınız için teşekkür ederiz.

4. 30 Haziran 2026 02:15 UTCmonitoring

   Bir düzeltme uygulandı ve sonuçları takip ediyoruz.

5. 30 Haziran 2026 03:30 UTCresolved

   Bu olay çözüldü.

Resmî olay güncellemesinden otomatik olarak çevrilmiştir.

1. 3 Haziran 2026 20:05 UTCinvestigating

   Mixpanel is currently experiencing a disruption in the ability to invite and delete internal users within organizations. We appreciate your patience while our engineers work to restore this functionality. If you have any questions, please contact [email protected]

2. 3 Haziran 2026 20:17 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 3 Haziran 2026 21:27 UTCresolved

   This incident has been resolved.

1. 2 Haziran 2026 11:02 UTCinvestigating

   We are experiencing delays with our data ingestion and shuffling pipeline to projects with all projects. No data is being lost but as a result, real-time data is delayed. We appreciate your patience while our engineers work to restore real-time functionality. If you have any questions, please contact support

2. 2 Haziran 2026 12:31 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2 Haziran 2026 14:31 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2 Haziran 2026 16:53 UTCresolved

   This incident has been resolved.

1. 1 Haziran 2026 14:15 UTCinvestigating

   We are experiencing delays with our data ingestion and shuffling pipeline to projects with US & India data residency. No data is being lost but as a result, real-time data is delayed. We appreciate your patience while our engineers work to restore real-time functionality. If you have any questions, please contact support

2. 1 Haziran 2026 15:08 UTCinvestigating

   We have now identified an ingestion delay for EU projects, and are continuing to investigate the issue. Thank you for your patience.

3. 1 Haziran 2026 15:29 UTCidentified

   The issue has been identified, and a fix is being implemented.

4. 1 Haziran 2026 16:38 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

5. 1 Haziran 2026 19:42 UTCresolved

   This incident has been resolved.

1. 19 Mayıs 2026 19:03 UTCinvestigating

   A subset of users are currently facing issues accessing boards that they previously had access to view. Our Engineering team is actively investigating and will update shortly.

2. 19 Mayıs 2026 19:10 UTCidentified

   The issues has been identified and a fix is being implemented. As a workaround boards can be explicitly shared with users who are having issues viewing them currently.

3. 19 Mayıs 2026 20:23 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 19 Mayıs 2026 21:18 UTCresolved

   This incident has been resolved.

1. 14 Mayıs 2026 23:17 UTCinvestigating

   We are experiencing degraded performance with our Query API, including increased latency. You may see slow-loading reports, incomplete query results, query errors, or data discrepancies. We appreciate your patience while our engineers work to restore normal functionality. We will post progress updates on our status page. If you have any questions, please contact support.

2. 14 Mayıs 2026 23:48 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 15 Mayıs 2026 10:19 UTCidentified

   We are continuing to work on a fix for this issue.

4. 15 Mayıs 2026 12:28 UTCidentified

   We've continued to make progress on the issue affecting some US projects. Query success rates have returned to normal levels, and the related processing delays have also recovered. A subset of affected projects may still see incomplete data in query results while our recovery process runs. We're actively working on this and will share another update in 2 hours. Impact remains limited to our US region. We do not currently believe any data has been permanently lost.

5. 15 Mayıs 2026 14:31 UTCidentified

   Recovery is progressing well. Query success rates remain at normal levels, and missing data has now been restored for a portion of affected projects. We're continuing the recovery process for the remaining affected projects and currently estimate full recovery within approximately 3–5 hours. Some customers may still see incomplete data in query results until this work is complete.

6. 15 Mayıs 2026 16:37 UTCidentified

   We are continuing to work on resolving this issue. Our current estimate for full recovery is approximately 3–5 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

7. 15 Mayıs 2026 18:47 UTCidentified

   Recovery is continuing to progress and query latency has returned to normal levels. Our current estimate for full recovery is approximately 3–4 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

8. 15 Mayıs 2026 19:56 UTCidentified

   We are investigating an increase in query latency that appears to be unrelated to the ongoing recovery. You may experience slower-loading reports. Our team is actively looking into the cause and we will provide an update shortly. Recovery is continuing to progress. Our current estimate for full recovery is approximately 3–4 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

9. 15 Mayıs 2026 21:23 UTCidentified

   Query latency has returned to normal levels. We are continuing to monitor.

10. 15 Mayıs 2026 22:14 UTCidentified

    Query latency has returned to normal levels and has been resolved. Recovery is continuing to progress, and our current estimate for full recovery is approximately 4–5 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

11. 16 Mayıs 2026 00:17 UTCidentified

    Recovery is continuing to progress. Our current estimate for full recovery is approximately 1-2 hours. Some customers may still see incomplete data in reports until recovery is complete. We will continue to provide updates.

12. 16 Mayıs 2026 01:52 UTCmonitoring

    A fix has been implemented and we are monitoring the results.

13. 16 Mayıs 2026 02:50 UTCresolved

    This incident has been resolved.

14. 21 Mayıs 2026 21:43 UTCpostmortem

    # Mixpanel RCA: Transient Data Access Issue, May 14, 2026 ## Summary On Thursday, May 14, 2026 at approximately 2:30 PM PT, a routine but infrequent cleanup operation in Mixpanel's storage system mistakenly removed a portion of production data files in addition to the unused files it was intended to remove. Some customers experienced query errors during the hours that followed. We detected the issue within minutes, deployed mitigations the same evening that returned query success rates and latency to normal, and restored the affected files from backup by 5:15 PM PT on Friday, May 15. Mixpanel's ingestion pipeline was not affected and no event data was lost in transit. ## What happened This incident was triggered by a storage cleanup procedure that runs periodically to remove files no longer referenced by Mixpanel's metadata. The procedure was more involved than usual: it followed a recent enhancement to our file storage strategy that left a set of unused files behind in our storage backend, and addressing them required extending our standard cleanup approach to cover a new code path. As part of executing this extended cleanup, an engineer generated the list of files to delete using a SQL query whose date filter was not strictly earlier than the reference snapshot it was being compared against. As a result, a small set of legitimate production files that had been written in the gap window between the snapshot and the filter date were incorrectly classified as unused and removed. The deletion ran for roughly half an hour before internal alerting caught the resulting query failures and the operation was stopped. The trigger was operator error against an ambiguous runbook, not a defect in the live serving path or in our ingestion pipeline. ## Customer impact Impact unfolded in two phases. The first phase ran from Thursday at approximately 2:30 PM PT until 8:11 PM PT — roughly five and a half hours. During this window, customers across the platform may have seen slower or failed queries when their requests touched files that had been deleted. The breadth and severity varied by project depending on which data each query touched. By 8:11 PM PT, mitigations had fully rolled out — queries automatically retried against an alternate availability zone, and a fallback path was put in place to serve missing files from a backup datastore. After this point, query success rate and latency returned to normal. The second phase lasted from 8:11 PM PT Thursday through approximately 5:15 PM PT Friday, May 15. During this window, fewer than 2% of customers were still affected — specifically, those whose deleted files had not yet been fully restored from backup. The vast majority of these files were recovered by Friday afternoon. A small number of projects \(under 30\) had files that could not be fully recovered from backup, and we are following up with those accounts directly. ## Timeline \(Pacific Time\) * May 14, 2:30 PM — Cleanup operation begins * May 14, 3:11 PM — Internal alerting flags query failures; the cleanup operation is stopped within minutes * May 14, 4:07 PM — Status page banner posted * May 14, 4:45 PM — Mitigation deployed: queries automatically retry against an alternate availability zone * May 14, 7:12 PM — Mitigation deployed: queries fall back to a backup datastore for missing files * May 14, 8:11 PM — Query success rate and latency fully restored to normal levels * May 15, 5:15 PM — File restore from backup complete; status page banner resolved ## Why this happened Several contributing factors lined up. The runbook for this cleanup procedure had ambiguous wording around the ordering and timing of its inputs. It had been recently authored to handle the new file-storage code path and had not gone through a formal review before being used. Our cleanup tooling did not programmatically enforce the safety invariant that the date filter must be strictly before the reference snapshot. That invariant lived only in operator-authored SQL. The extended cleanup was being executed in parallel across two storage layers by two different engineers, which increased the room for error. ## What we're doing to prevent recurrence We have already made or have actively in flight the following changes. We are adding programmatic safeguards to our cleanup tooling so that an input set whose date filter is not safely before the reference snapshot is rejected before any deletion occurs, along with a reconciliation step that flags any production-referenced file before deletion proceeds. Destructive cleanup operations will now run in phased stages, starting with internal projects and pausing for a holding period before any broader execution. Destructive storage operations now require a second engineer to sign off on the exact deletion set and to be present during execution, matching the practice we already follow for database migrations. We have updated the cleanup runbook with explicit guidance on input timing, required safety buffers, and an enforced review process for any runbook covering a destructive operation. Longer term, we are working to eliminate the manual portion of this cleanup procedure entirely and route it through our existing automated cleanup infrastructure, so the class of failure that produced this incident is no longer reachable through human input. ## Closing Reliability and data integrity are foundational to the trust our customers place in Mixpanel, and we recognize the impact this incident had on the teams who rely on us. We are sorry for the disruption. If you have questions about how this incident may have affected a specific project, please reach out to your account team or Mixpanel Support.

1. 13 Mayıs 2026 16:34 UTCidentified

   Data Volume Monitoring is again experiencing degraded performance due to a recurring upstream provider disruption. We're mitigating now.

2. 13 Mayıs 2026 21:40 UTCidentified

   We are continuing to work on a fix for this issue.

3. 14 Mayıs 2026 13:35 UTCresolved

   This incident has been resolved.

1. 12 Mayıs 2026 17:45 UTCinvestigating

   We are currently investigating an issue that leads to degraded performance of Data Volume Monitoring in a subset of US-based projects. We truly appreciate your patience and apologize for the inconvenience. If you have any questions, please contact support (https://mixpanel.com/get-support).

2. 12 Mayıs 2026 17:46 UTCidentified

   An upstream service provider outage is causing this issue. We are deploying a fix to mitigate the disruption.

3. 12 Mayıs 2026 20:24 UTCmonitoring

   A fix has been implemented, and we are monitoring the result.

4. 12 Mayıs 2026 21:44 UTCresolved

   This incident has been resolved.

1. 6 Mayıs 2026 00:00 UTCinvestigating

   A subset of projects are experiencing issues exporting data to the Snowflake warehouse via Mixpanel pipelines. We are currently investigating this issue.

2. 6 Mayıs 2026 09:32 UTCidentified

   We have identified the issue affecting Snowflake pipeline exports for a subset of projects, and our engineering team is working on a resolution.

3. 6 Mayıs 2026 20:04 UTCresolved

   This incident has been resolved.

1. 9 Nisan 2026 20:03 UTCidentified

   We are currently experiencing an interruption with our credit card processing. Our engineers have identified the issue and are working on a fix.

2. 9 Nisan 2026 21:00 UTCmonitoring

   A fix has been deployed, and all impacted accounts have had their billing re-run. If you continue to receive errors, please ensure the card on file is up to date. If you are still experiencing issues, please submit a support ticket.

3. 9 Nisan 2026 21:44 UTCresolved

   This incident has been resolved.

1. 16 Mart 2026 16:50 UTCidentified

   Mixpanel is experiencing increased query latency for projects with EU residency, which may result in HTTP 500 responses when querying or saving reports. Projects with US and IN residency remain unaffected. Our engineering team is working on a resolution.

2. 16 Mart 2026 19:29 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 16 Mart 2026 21:47 UTCresolved

   This incident has been resolved.

1. 2 Mart 2026 21:00 UTCinvestigating

   We are currently experiencing issues with loading Mixpanel.com and are working to restore service as quickly as possible. Our team is investigating the issue and will provide updates as soon as we have more information. Thank you for your patience.

2. 2 Mart 2026 21:09 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2 Mart 2026 21:09 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2 Mart 2026 21:53 UTCresolved

   This incident has been resolved. If Mixpanel is still not loading, please clear your cache and cookies.