73 Socure incidents · Eylül 2025 — official updates, affected components, duration and resolution details.
27 Ekim 2026'da, bazı müşteriler RiskOS Sandbox webhooks alamazlardı. Sorun, Sandbox bildiriminin işleme olayları durdurmasına neden olan webhook konfigürasyonlarına neden oldu. Hatalı konfigürasyonlar düzeltildi. Tüm işleme iyileşti ve webhook teslimat başarıyla yeniden başladı
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
SSA şu anda birçok uygulama ve hizmeti etkileyen bir hizmet etkinliği deneyimliyor, Elektronik Consent bazlı Sosyal Güvenlik Numarası Doğrulama (eCBSV) hizmeti de dahil. Az sayıda işlem kesintinin ilk olarak 23 Ekim'de yaklaşık 4:47 PM (ET) kaydedildi. Hizmetin restore edildiğini fark ettiğimizde başka bir güncelleme paylaşacağız ve eCBSV normal olarak yeniden çalışıyor.
Yaklaşık 4:56 (ET), hizmet restore edildi ve eCBSV bu anda normalde çalışıyor. Bunun sebep olabileceği herhangi bir rahatsızlıktan özür dileriz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda, bitmiş işlemlerin küçük bir yüzdesi için DocV Images'i görüntüleme ve indirmeye neden olan bir sorunu araştırıyoruz. DocV'ye etkisi yoktur ve bu zamanda değerlendirmeler yoktur, ancak görüntüler ortaya çıkmak için ek zaman alabilir.
Ekibimiz, DocV görüntü ekranı ve indirmeleri için deneyimli gecikmişliği azaltmak için adımlar attı. Bu zamanda DocV değerlendirmelerine etkisi yoktur ve ekip durumu izlemeye devam edecektir. Tüm etki çözülebilir bir kez daha başka bir güncelleme sağlayacağız.
Bu konu çözülmüştür ve hizmetlerin istikrarlı kalmasını sağlamak için performans izliyoruz. Bunun sebep olabileceği herhangi bir rahatsızlıktan özür dileriz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
SSA, çok sayıda uygulama ve hizmeti etkileyen bir hizmet temposu deneyimi yaşadı, Elektronik Bilinçli Sosyal Güvenlik Numarası Doğrulama (eCBSV) hizmeti de dahil. 2026 Ekim'de kesintiye başladığından küçük bir dizi işlem etkilendi ve yaklaşık 3:10PM (ET). Servis restore edildi ve eCBSV normalde bu anda çalışıyor.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
3:00 EDT'den başlayarak, bazı müşteriler riskOS Evaluate API'leri kullanırken geçici hataları veya başarısız talepleri yaşayabilirler. Bir veritabanı sorunu tespit ettik ve bunu çözmek için aktif olarak çalışıyoruz. Hata için özür dileriz ve araştırırken sabrınızı takdir ediyoruz.
Geçici bir ölçü aldık ve yüksek hata oranı desteklendi. Son 15 dakikada ilgili hataları gözlemledik. Olayı tam bir karar üzerinde çalışmaya devam ederken izlemek için hareket ediyoruz. Durum değiştiğinde başka bir güncelleme paylaşacağız.
Sabırınızı ekibimizin hala durumu yakından takip ettiğini takdir ediyoruz. Hata oranları tam bir karara karşı çalışmaya devam ettikçe desteklendi.
Olay çözüldü ve artık hataları görmüyoruz. Hizmetler normalde çalışıyor ve performansı izlemeye devam edeceğiz. Bu konuda çalışırken sabrınızı takdir ediyoruz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Socure RiskOS ve ID+ hizmetleri restore edilmiştir. Bir rolloutdaki bir hata, 18:12 ve 18:56 Doğu arasındaki hizmetlerimizden geçici bir artış yarattı. Hata düzeltildi ve hizmetler şimdi stabil. Bu kesintinin kabul edilemez olduğunu ve tam bir RCA konunun tam analizi tamamlandıktan sonra mevcut olacak.
# **Root Cause Analizi** **Incident:** Socure APIs Outage **Date Range:** 15Oct-2026 **Impact:** Socure APIsleri için hizmette kesinti **Status:** Çözüldü ## **1. Özet** 15Oct-2026'da, 18:12 ile 19:00 arasında Doğu zamanı Socure, RiskOS ve ID\+ API'lerine bir kesinti yaşadı, hatalara ve zamana neden oluyor. İlk aşama 18:12 ile 18:20 arasında koştu ve neredeyse her hizmet için büyük bir kesinti oldu. Outage'ın ikinci aşaması 18:20'den 19:00'a kadar koştu ve bazı hizmetler için yüksek hata oranları ve latenciesları gördüğü hizmetler için kısmi kesinti oldu. ## **2. Timeline** **Date / Time \(ET\)** | Event **18:12 ** | Rutin bir temizleme değişikliği bir araya getirilir, bir kod havuzundan diğerine bir kaynak geri hareket eder. İnceleme aracımızda bir otobüs değişikliğin kapsamını gizler. **18:13 ** | ArgoCD, bir zamanlar büyük bir Kubernetes kümesinde çoğu hizmeti yeniden başlatır. **18:20** | Tüm servis pods çalışır. Kısmen API servisi restore edildi, ancak APC hizmetleri hala yüksek bir hata oranını görüyor. **18:21 ** | Başlangıç trafiğinin selâmı, KAB Arama servisimizi abartır. Hata oranları arttı. **18:42 ** | SRE, ROC Arama ve blok trafiğini etkileyen nedenleri teşhis eder, böylece ortaya çıkabilir. **18:56** | EPC Arama hizmeti tamamen yukarı ve SRE trafik döndürür. Downstream hizmetleri stabil. **19:00** | Normal olarak çalışan tüm trafik, olay istikrarlı ilan etti. ## **3. Root Cause** * **Primary Root Cause:** Devam eden bir göçün bir parçası olarak, ArgoCD'ye bir değişiklik yaptı, kubernetes kümelerini yönetmek için kullandığımız sistem Socure hizmetlerini devam ediyor. Değişim tek bir kümeye kapıldı, zorlamadan önce dikkatlice incelendi, başka ortamlarda test edildiğine ve görünür bir etkiye sahip olmamalıdır. Ne yazık ki, değişiklik değişim incelemesinde görünmemiş bir miras ayarı güncelledi. Bu miras ArgoCD'nin ne yönetildiğini ve ArgoCD'den birçok canlı hizmeti ortadan kaldırdı. Sonuç olarak ArgoCD bu hizmetleri kısaca üretimden kaldırdı, ayarlama düzeltilmeden önce. * **Kontributing Faktörleri:** EPC Arama servisi, iç ürünlerimizin birkaçına hizmet veren Socure altyapısının geri dönüşüdür. Bu hizmet, hizmetin tüm müşterileri tarafından aynı anda çizildiği zaman, hizmette küçük sayıda pods vardı. Bu, geri kalan pods üzerindeki yükü artırdı, bazıları sırayla çöktü. Bu kalibre başarısızlığı, hizmetin Socure’nin altyapısının geri kalanının yaptığı şekilde geri gelmesini engelledi. Bu ayrı başarısızlık modunun teşhisi ek zaman aldı ve ilk olayın ardından kalan hataları düzeltti. ## **4. Karar** ArgoCD değişimi hemen geri alındı, önceki durumuna geri dönmelerine neden oldu. EPC Arama hizmeti, hizmetteki podların çoğunluğu geldiğinden trafik engellemek için manuel çaba gerektiriyordu. Hizmet sağlıklı olduktan sonra, trafiği ona geri getirebilir ve genel olayı çözebiliriz. ## **5. Doğrulayıcı ve Önleyici Eylemler** ## **6. Öğrenilen Dersler** * Socure'nin üretime yaptığı değişiklikleri izlemek için aracı doğru çalışmadı. Bu araçları tüm kullanım vakalarında doğru şekilde çalışmasını sağlamak ve bir değişimin tam kapsamının açık olmadığı gibi herhangi bir vakaları düzeltmek için gözden geçiriyoruz. * Mevcut değişim inceleme sürecini ajan desteği ile artırılmış. Bu durumda, belirli bir değişiklik planda görünmezken, kapsamlı bir eğitim modeli tarafından desteklenen ekstra bir incelemeye sahip olmak, sorunların önceden yakalanmasına yardımcı olacaktır. * Üretim işlerimiz için yönetim sistemine yapılan değişiklikler bile riskli olabilir ve ABD iş saatlerinden daha fazla değiştirilmesi gerekir. * Bizim EPC Arama hizmeti, tam online olmadığı zaman tam trafik akışı aldığında “şeytansız” bir probleme karşı savunmasızdır. Bu sorunu tekrarlamak için devre kesicilerimizi güçlendirmek zorundayız. * Tek bir kubernetler kümesindeki temel API hizmetlerimizden çok fazla koşuyoruz. Bu küme birden fazla kullanılabilir bölgede dağıtılmasına rağmen, paylaşılan kontrol uçağı bu kümeye değişiklikler için çok yüksek bir patlama yarımı yaratıyor. ## **7. Sonraki Adımlar ve Devam Ediyorum Socure, müşterilerimizi kritik iş akışlarında anahtar bir sağlayıcı olarak bize güveniyor ve bu hizmet kesintisi kabul edilemez. Bu sorunun neden olduğu etki için özür dileriz ve yeniden satın almamasını sağlamak için taahhüt ediyoruz. Bu amaçla, önümüzdeki yılın Q1'deki K1'deki KC Arama servisinin direncini geliştirmek üzere Kasım ayına kadar uygulama düzenimizi yeniden kurmak için planlarımızda ayrıntıları sunacağız.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Socure RiskOS ve ID+ hizmetleri restore edilmiştir. Bir rolloutdaki bir hata, 18:12 ve 18:56 Doğu arasındaki hizmetlerimizden geçici bir artış yarattı. Hata düzeltildi ve hizmetler şimdi stabil. Bu kesintinin kabul edilemez olduğunu ve tam bir RCA konunun tam analizi tamamlandıktan sonra mevcut olacak.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda hizmet kullanılabilirliğini etkileyen aktif bir olay yaşıyoruz. Şu anda konuyu araştırıyoruz ve ek bilgilere sahip olduğumuz sürece güncelleştirmeler sağlayacaktır.
Socure RiskOS ve ID+ hizmetleri restore edilmiştir. Bir rolloutdaki bir hata, 18:20 ve 18:56 Doğu arasındaki hizmetlerimizden geçici bir artış yarattı. Hata düzeltildi ve hizmetler şimdi stabil. Bu kesintinin kabul edilemez olduğunu ve tam bir RCA konunun tam analizi tamamlandıktan sonra mevcut olacak.
Socure RiskOS ve ID+ hizmetleri restore edilmiştir. Bir rolloutdaki bir hata, 18:12 ve 18:56 Doğu arasındaki hizmetlerimizden geçici bir artış yarattı. Hata düzeltildi ve hizmetler şimdi stabil. Bu kesintinin kabul edilemez olduğunu ve tam bir RCA konunun tam analizi tamamlandıktan sonra mevcut olacak.
Socure RiskOS ve ID+ hizmetleri restore edilmiştir. Bir rolloutdaki bir hata, 18:12 ve 18:56 Doğu arasındaki hizmetlerimizden geçici bir artış yarattı. Hata düzeltildi ve hizmetler şimdi stabil. Bu kesintinin kabul edilemez olduğunu ve tam bir RCA konunun tam analizi tamamlandıktan sonra mevcut olacak.
# **Root Cause Analizi** **Incident:** Socure APIs Outage **Date Range:** 15Oct-2026 **Impact:** Socure APIsleri için hizmette kesinti **Status:** Çözüldü ## **1. Özet** 15Oct-2026'da, 18:12 ile 19:00 arasında Doğu zamanı Socure, RiskOS ve ID\+ API'lerine bir kesinti yaşadı, hatalara ve zamana neden oluyor. İlk aşama 18:12 ile 18:20 arasında koştu ve neredeyse her hizmet için büyük bir kesinti oldu. Outage'ın ikinci aşaması 18:20'den 19:00'a kadar koştu ve bazı hizmetler için yüksek hata oranları ve latenciesları gördüğü hizmetler için kısmi kesinti oldu. ## **2. Timeline** **Date / Time \(ET\)** | Event **18:12 ** | Rutin bir temizleme değişikliği bir araya getirilir, bir kod havuzundan diğerine bir kaynak geri hareket eder. İnceleme aracımızda bir otobüs değişikliğin kapsamını gizler. **18:13 ** | ArgoCD, bir zamanlar büyük bir Kubernetes kümesinde çoğu hizmeti yeniden başlatır. **18:20** | Tüm servis pods çalışır. Kısmen API servisi restore edildi, ancak APC hizmetleri hala yüksek bir hata oranını görüyor. **18:21 ** | Başlangıç trafiğinin selâmı, KAB Arama servisimizi abartır. Hata oranları arttı. **18:42 ** | SRE, ROC Arama ve blok trafiğini etkileyen nedenleri teşhis eder, böylece ortaya çıkabilir. **18:56** | EPC Arama hizmeti tamamen yukarı ve SRE trafik döndürür. Downstream hizmetleri stabil. **19:00** | Normal olarak çalışan tüm trafik, olay istikrarlı ilan etti. ## **3. Root Cause** * **Primary Root Cause:** Devam eden bir göçün bir parçası olarak, ArgoCD'ye bir değişiklik yaptı, kubernetes kümelerini yönetmek için kullandığımız sistem Socure hizmetlerini devam ediyor. Değişim tek bir kümeye kapıldı, zorlamadan önce dikkatlice incelendi, başka ortamlarda test edildiğine ve görünür bir etkiye sahip olmamalıdır. Ne yazık ki, değişiklik değişim incelemesinde görünmemiş bir miras ayarı güncelledi. Bu miras ArgoCD'nin ne yönetildiğini ve ArgoCD'den birçok canlı hizmeti ortadan kaldırdı. Sonuç olarak ArgoCD bu hizmetleri kısaca üretimden kaldırdı, ayarlama düzeltilmeden önce. * **Kontributing Faktörleri:** EPC Arama servisi, iç ürünlerimizin birkaçına hizmet veren Socure altyapısının geri dönüşüdür. Bu hizmet, hizmetin tüm müşterileri tarafından aynı anda çizildiği zaman, hizmette küçük sayıda pods vardı. Bu, geri kalan pods üzerindeki yükü artırdı, bazıları sırayla çöktü. Bu kalibre başarısızlığı, hizmetin Socure’nin altyapısının geri kalanının yaptığı şekilde geri gelmesini engelledi. Bu ayrı başarısızlık modunun teşhisi ek zaman aldı ve ilk olayın ardından kalan hataları düzeltti. ## **4. Karar** ArgoCD değişimi hemen geri alındı, önceki durumuna geri dönmelerine neden oldu. EPC Arama hizmeti, hizmetteki podların çoğunluğu geldiğinden trafik engellemek için manuel çaba gerektiriyordu. Hizmet sağlıklı olduktan sonra, trafiği ona geri getirebilir ve genel olayı çözebiliriz. ## **5. Doğrulayıcı ve Önleyici Eylemler** ## **6. Öğrenilen Dersler** * Socure'nin üretime yaptığı değişiklikleri izlemek için aracı doğru çalışmadı. Bu araçları tüm kullanım vakalarında doğru şekilde çalışmasını sağlamak ve bir değişimin tam kapsamının açık olmadığı gibi herhangi bir vakaları düzeltmek için gözden geçiriyoruz. * Mevcut değişim inceleme sürecini ajan desteği ile artırılmış. Bu durumda, belirli bir değişiklik planda görünmezken, kapsamlı bir eğitim modeli tarafından desteklenen ekstra bir incelemeye sahip olmak, sorunların önceden yakalanmasına yardımcı olacaktır. * Üretim işlerimiz için yönetim sistemine yapılan değişiklikler bile riskli olabilir ve ABD iş saatlerinden daha fazla değiştirilmesi gerekir. * Bizim EPC Arama hizmeti, tam online olmadığı zaman tam trafik akışı aldığında “şeytansız” bir probleme karşı savunmasızdır. Bu sorunu tekrarlamak için devre kesicilerimizi güçlendirmek zorundayız. * Tek bir kubernetler kümesindeki temel API hizmetlerimizden çok fazla koşuyoruz. Bu küme birden fazla kullanılabilir bölgede dağıtılmasına rağmen, paylaşılan kontrol uçağı bu kümeye değişiklikler için çok yüksek bir patlama yarımı yaratıyor. ## **7. Sonraki Adımlar ve Devam Ediyorum Socure, müşterilerimizi kritik iş akışlarında anahtar bir sağlayıcı olarak bize güveniyor ve bu hizmet kesintisi kabul edilemez. Bu sorunun neden olduğu etki için özür dileriz ve yeniden satın almamasını sağlamak için taahhüt ediyoruz. Bu amaçla, önümüzdeki yılın Q1'deki K1'deki KC Arama servisinin direncini geliştirmek üzere Kasım ayına kadar uygulama düzenimizi yeniden kurmak için planlarımızda ayrıntıları sunacağız.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda SSA yanıtları nedeniyle eCBSV modülünü etkileyen planlanmamış bir kesinti yaşıyoruz, 5xx hatayla sonuçlanıyoruz. Socure, satıcıyla sorunu araştırmak ve hizmetin restore edilmesi beklendiğini belirlemek için temasa geçti.
Hata oranları son birkaç dakika boyunca desteklendi. Bu oranları takip ediyoruz ve satıcı tepkimizi bekliyoruz.
SSA, çok sayıda uygulama ve hizmeti etkileyen bir hizmet temposu deneyimi yaşadı, Elektronik Bilinçli Sosyal Güvenlik Numarası Doğrulama (eCBSV) hizmeti de dahil. Bu kesinti 15 Ekim 2026'da yaklaşık 10:19AM'da başladı ve yaklaşık 10:41AM'da (ET) çözüldü. Servis restore edildi ve eCBSV normalde bu anda çalışıyor.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Watchlist Plus ve Watchlist Premier'i etkileyen yüksek işlem başarısızlıklarını yaşadık. Sorun çözüldü ve hizmetlerin istikrarlı kalmasını sağlamak için performans izliyoruz. Bunun sebep olabileceği herhangi bir rahatsızlıktan özür dileriz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
RiskOS Case Management UI'ye yansıyan durumlarda gecikmelere neden olan bir sorunu araştırıyoruz. Mühendislik ekibimiz aktif olarak kök nedenini tanımlamak ve normal güncelleme davranışını geri yüklemek için çalışıyor. Daha fazla bilgi için daha fazla güncelleme sağlayacağız. Bu API değerlendirme taleplerini etkilemez.
RiskOS Case Management UI'de güncelleştirmeleri etkileyen sorunun kök nedenini tespit ettik. Bu konu, davaların alt kümesi ile sınırlıdır ve özellikle eski vaka eyaletlerini geçici olarak gösterebilecek Vaka Arama işlevselliğini etkiler. Please not that case status data shown within the Case List and bireysel Case Details pages is true and reflects the latest state. Mühendislik ekibimiz tüm yeni güncel durumlar için bir düzeltme gerçekleştirdi ve aramada veri tutarlılığını sağlamak için geri kalan etkilenen vakaları tekrar tanımlamak için aktif olarak çalışıyor. Normal bir davranış tamamen restore edilmiş başka bir güncelleme sağlayacaktır.
Vaka durumu güncellemelerini etkileyen sorun çözüldü. Tüm yeni vakalar doğru şekilde işlenir. Bu rahatsızlıktan içtenlikle özür dileriz ve sabrınızı takdir edebilirken ekibimiz bunu çözmeye çalıştı.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
21 Eylül'de 6:28 AM ve 6:57 AM ET arasında, operasyonel bir faaliyet sırasında bir konu, geçen ay daha eski değerlendirmelerle ilişkili bazı webhook bildirimlerin tekrar teslim edilmesine neden oldu. Mevcut değerlendirmeler ve webhook işleme etkilenmedi. Sorun çözüldü. Bunun sebep olabileceği herhangi bir karışıklık veya ek gürültü için özür dileriz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Panelde toplu işlemeyi etkileyen gecikmeleri araştırıyoruz. Müşteriler sorunu incelediğimizde gecikmiş işleme yaşayabilirler.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Dolandırıcı ve Sentetik ürünlerimiz kullanarak bazı müşterileri etkileyen gecikmeliliği gözlemliyoruz. Ekibimiz konuyu aktif olarak araştırıyor. API talepleri başarıyla tamamlanıyor ve bu anda herhangi bir API başarısızlığı gözlemlemiyoruz. Daha fazla bilgi için daha fazla güncelleme sağlayacağız.
Dolandırıcı ve Sentetik ürünlerimizi kullanarak bazı müşterileri etkileyen gecikmelerde bir gelişme görüyoruz. Durumu yakından izlemeye devam edeceğiz.
Dolandırıcılık ve Sentetik hizmetlerin etkisi çözüldü ve hizmet normal operasyona geri döndü. Müşteriler artık ergenlik ve Sentetik hizmetlere eriştiğinde gecikme veya gecikmeler büyümemelidir
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
8:30 AM ve 2:00 PM EST arasında, 5xx hata oranlarında bir artış gördük, bu da bazı müşteriler için geçici hataları sonuçlandı. Genel etki en az,% 0.0'den daha azydı. Hata oranı normale döndü. Bu konu bu anda tamamen çözülmüştür. Herhangi bir kesinti için özür dileriz ve sabrınızı takdir ediyoruz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
7:00 AM ve 7:20 AM EST arasında, 5xx hata oranlarında bir artış gözlemledik, bu da bazı müşteriler için geçici hataları veya başarısız talepleri sonuçlandı. Hata oranı normale döndü ve sorunu tamamen çözmüş olmamız için kök nedenini araştırıyoruz. Herhangi bir kesinti için özür dileriz ve sabrınızı takdir ediyoruz.
**Root Cause Analizi** **Incident:** Intermittent, hizmetler genelinde 5xx hata **Date Range:** 9 Eylül 2026, 7:00 AM – 9:20 AM EDT \ (yaklaşık 2 saat 20 dakika geçici bir etkinin) **Impact:** E-postaAuthScore API'si ve ilgili hizmetlere gönderilen bazı istekler, geçici olarak geri döndü hata yanıtları. Etkisi sürekli yerine geçiciydi ve aşağıdaki zaman çizelgesinde açıklanan pencerelerle sınırlıydı. **Status:** Çözüldü ## **1. Özet** 9 Eylül 2026'da, arka uç işleme kapasitesinde planlanan bir artış, birkaç hizmet için alt işlemeyi desteklemek için kullanılan bir iç altyapı bileşeni üzerine yüksek bağlantı yüküne yol açtı. Bu bileşen, işlem gecikmelerini tanıttı ve e-postaAuthScore API'si ve ilgili hizmetleri alt talepler için devre dışı bıraktı. Sorun, etki penceresi sırasında iç izleme ve raporların bir kombinasyonu ile tespit edildi. Socure mühendisliği, hataları son kapasite değişikliği ile ilişkilendirdi ve hataların ilk artışını durdurdu. İkincisi, hatalarda ilgili artış, farklı bir iç hizmet için daha önce yapıldığında, aynı paylaşılan bileşene ek bir yük yerleştirdi; mühendislik etkilenen tüm hizmetlerin normal, istikrarlı bir operasyona geri döndükten sonra daha fazla tazminat uyguladı. Bölüm 5, doğrulayıcı ve önleyici eylemleri özetliyor Socure, altyapı kapasitesine görünürlük geliştirmek ve müşteri odaklı istek işlemesini etkileyen herhangi bir iç bileşendeki gecikmeleri önlemek için öncelikli olarak taahhüt ediyor. ## **2. Timeline** | **Date / Time \ (EDT\)** | ** Event** | | --- | | ** Eylül 9, 2026 07:00 AM ** | Yeniden işleme kapasitesinde planlanan bir artış sonrasında, E-postaAuthScore API, yanlışlıkla geri dönüş hataları yanıtlarına başladı. | | ** 9 Eylül 2026 07:20 AM** | Son kapasite değişikliği tekrarlandı; hata oranları normale döndü. | | ** Eylül 9, 2026 08:45 AM** | Farklı bir iç hizmet için daha önce yapılan ayrı bir kapasite değişikliği aynı paylaşılan iç bileşene ek bir yük koydu ve E-postaAuthScore API yine geçici bir geri dönüş hata yanıtlarına başladı. | | ** Eylül 9, 2026 09:20 AM** | Ek tazminatlar uygulandı; hata oranları normale döndü ve istikrarlı kaldı. | Eylül 9, 2026 01:13 PM** | Bir önlem olarak, Socure geçici olarak etkilenen iç bileşenden uzak bir kısmını geri kalan kapasite artışını güvenle tamamlamak için geri döndürür. Bu değişiklikten sonra daha fazla hata gözlemlenmedi. | ## **3. Root Cause** * **Primary Root Cause:** Planlanan çalışmanın bir parçası olarak, tahmini talep öncesinde sistem kapasitesini artırmak için, Socure geri dönüş hizmetlerinin işleme kapasitesini artırdı. Bu değişiklik, bu hizmetler için alt işlemeyi desteklemek için kullanılan içsel bir mesajlaşma bileşenine bağlantıların sayısını artırdı. Bu bileşen, bağlantı ve işleme gecikmeleri ile sonuçlandı. Bu gecikmeler ek gecikme ve bazı durumlarda, yukarıda açıklanan etkiler sırasında e-postaAuthScore API ve ilgili hizmetler üzerinde yüksek hata oranlarına katkıda bulunan geri baskı. * **Kontributing Faktörleri:** * altyapı kapasitesi talebinde aniden artış, iç mesajlaşma bileşeni içinde hemen mevcut olmayan kapasiteyi aştı. ## **4. Karar** Yüksek hata oranlarının son kapasite değişikliği ile bağlantılı olduğunu tespit ettikten sonra, Socure mühendisliği, hataların ilk artışı durduran değişikliği tekrar tekrarladı. İkincisi, hatalarda ilgili artış, farklı bir iç hizmet için daha önce yapıldığında, aynı paylaşılan bileşene ek bir yük koydu. Mühendislik, etkilenen servisler için etkilenen bileşenden geçici olarak bir parça iç işleme geri yükleme dahil olmak üzere daha fazla işlem uyguladı. Bu eylemlerden sonra, etkilenen tüm hizmetler normal, istikrarlı bir operasyona döndü, bu Socure devam eden izleme yoluyla doğrulandı. ## **5. Doğrulayıcı ve Önleyici Eylemler** | **Action** | **Description** | **ETA / Durum** | | --- | --- | | Altyapı kapasitesi kullanımını optimize edin | İşlemin desteklenen altyapı sınırları içinde kalması ve benzer kapasiteyle ilgili sorunların riskini azaltmak için tekrarlanan hizmet kapasitesi ve bağlantı kullanımı. | Done | | mesajlaşma altyapı kapasitesini artırmak | altta yatan mesajlaşma altyapısının kapasitesini artırmak için trafik hacminde gelecekteki artışları sağlamak. | Done | | Gelişmiş kapasite izleme ve uyarı | Hizmet performansını etkilemeden önce potansiyel altyapı kapasite kısıtlarını tanımlamak için proaktif izleme ve uyarılar ekleyin. | Gelecekte. ETA 30 Sep 2026 ## **6. Öğrenilen Dersler** * Altyapı sağlığının proaktif izlenmesi, kapasite değişikliklerinden önce yer almalıdır, sadece uygulama düzeyinde izleme değil. ## **7. Sonraki Adımlar ve Devam Ediyorum Biz kararlıyız: * Bölüm 5'te listelenen doğru ve önleyici eylemleri bitirin. * Gelecekteki ölçeklendirme faaliyetleri öncesinde kritik iç altyapının sağlığı ve kapasitesine görünürlük kazandırmak. * Tüm düzeltici eylemler tamamlandığında bir takip güncelleme sağlamak.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda DocV ve Watchlist izleme hizmetleri üzerinde bir etkisi yaratan bir sorunu araştırıyoruz ki, bugün 8 Eylül'de, 09:05 AM EST'den AM EST'e gözlemlendik. Sistem iyileşti, bu zamanda bir kök nedeni belirleme üzerinde çalışıyoruz.
DocV ve Watchlist izleme hizmetlerini 8 Eylül’de etkileyen sorun çözüldü. 10:35 AM EST'den beri müşteri etkisi gözlemlenmedi. Bunun sebep olabileceği herhangi bir kesintiden özür dileriz.
### **Root Cause Analizi** **Incident: ** Hesabı Data Access Etkileyen Hizmet Müdahalesi **Date Range: ** 8 Eylül 2026 \(10:04 AM EDT\) **Impact:** DocV ve Watchlist Monitors **Status:** Çözüldü ## # 1 Özet Backend veritabanı kapasitesinin beklenmedik bir şekilde silinmesi, platformumuzu müşteri isteklerinin bir alt kümesi için yeniden beslenme hesabı bilgilerini engelledi. Olay sırasında pencere \(10:04 AM to 10:31 AM EDT of 8-Sep-2026\), bazı istemci talepleri hesap ayrıntıları sorgulamaya çalışırken yüksek hata oranları deneyimlidir. Rutin bir bakım güncellemesinden sonra, yedekleme ortamları ile eş zamanlı bağlantılar normal eşleri aştı, mevcut veritabanı kapasitelerini saturating. Mühendislik takımları güvenli bir şekilde reddant ortamlarını ayırıp aktif bağlantıları tazeledi, tam sistem duyarlılığını ve istikrarı restore etti. # # # 2 Timeline | **Date / Time \(ET\)** | ** Event** | | --- | | İlk hata | 10:04 AM EST, 8 Sep 2026 | Cevap: 10:17 AM EST, 8 Sep 2026 | | Reddant çevre bağlantısı havuzu izole | 10:30 AM EST, 8 Sep 2026 | Olay çözüldü | 10:31 AM EST, 8 Sep 2026 | # # # 3 Kök Sebep * **Primary Root Cause:** Planlanan bir sistem güncellemesi sırasında, dağıtım ortamları arasındaki yüksek bağlantı tutma alanı veritabanı bağlantı havuzu saturasyona yol açtı. Top trafik altında, bu gecikmeleri işlemeye ve bağımlı platform hizmetleri için zaman ayırmaya neden oldu. * **Kontributing Faktörleri:** * Sağlam bağlantı süresi parametreleri, boş ortamdaki boş veritabanı tahsislerinin zamanında serbest bırakılmasını geciktirdi. * Inadequate database node headroom standby environment tarafından üretilen ekstra bağlantıların sorunsuz bir şekilde işlenmesini engelledi. * **Non-contributing Factors:** * Hayır # ## 4. Karar Tam hizmet bütünlüğü aşağıdaki acil eylemler aracılığıyla restore edildi: 1. Hemen ücretsiz veritabanı havuz kapasitesi için aktif olmayan çevre bağlantılarını yapılandırın. 2. Açık veritabanı bağlantı temellerini yeniden kurmak için aktif hizmet düğümlerinin bir yuvarlanmasını gerçekleştirin. ## 5. Doğrulayıcı ve Önleyici Eylemler | **Action** | **Description** | **ETA / Durum** | | --- | --- | | Verilere erişim kalıpları için iyileştirmeler | Hesaplama stratejisi ve hesap verilere dayanan iç hizmetlerdeki veri erişim kalıpları. 15 Ekim 2026 | | Otomatik Bağlantı Yönetimi | Etkili arka plan görevleri için yaşam döngüsü yönetimi ve otomatik temizleme rutinleri. 15 Ekim 2026 | # ## 6. Dersler Öğrenildi * **Enhancing Deployment Isolation:** Kurulum prosedürlerimizi aktif ve pasif ortamlardaki kaynakların tam ayrılığını sağlamak, yükseltme sırasında çapraz-environment kaynak içeriğini ortadan kaldırmak. * **Optimizing Database Resource Allocation:** zirve performansını sağlamak için, iş yüklerimizi yeniden tanımlıyoruz ve genel sistem kapasitesi ve verimliliği artırıyoruz. # # # 7 Sonraki Adımlar ve Devam Ediyor Biz kararlıyız: * Belirlenen kök sebeplerini zamanlayıcılar tarafından geri alın * Sürekli uygulama ve altyapı geliştirmeleri sona erdiğinde proaktif güvenlik korumalarını ve eşlerini izleme.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Satıcımız SSA, şu anda eCBSV modülü etkileyen yüksek bir gecikme sorunu olduğunu bildirdi. Sonuç olarak, yüksek yanıt süreleri deneyimleyebilirsiniz. Ekibimiz, sorunu mümkün olduğunca çabuk çözmek için onlarla aktif olarak çalışıyor. Bu herhangi bir rahatsızlıktan özür dileriz ve sabrınızı ve anlayışını takdir edebiliriz.
SSA, eCBSV modülünü 2:00 AM ET olarak etkileyen yüksek gecikmeyi çözdü. Yanıt süreleri normale döndü. Sabrınız ve anlayışınız için teşekkür ederiz.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
We are investigating a slight degradation on the Watchlist product due to latency. Affecting both ID+ and RiskOS. The team is actively investigating this issue at this time.
The issue has been identified and a fix is being implemented.
A fix has been implemented and we are monitoring the results.
This incident has been resolved.
Between 1:21 AM and 2:15 AM EDT on August 4, 2026, a subset of DocV webhook delivery notifications experienced elevated 401 response rates. The issue is fully resolved and webhook delivery is now operating normally. A full Root Cause Analysis (RCA) will be shared once the investigation concludes.
