75 Render incidents · Kasım 2025 — official updates, affected components, duration and resolution details.
Platform etkinlikleri için işlem e-postaları, ancak yeni hesap işareti ile e-posta onayı ile sınırlı değil, hizmet inşa / iş başarısızlığı bildirimleri, parola sıfırlamaları, vs. şu anda gönderilemez. Şu anda konuyu ele alıyoruz.
Bir düzeltme yaptık ve mesajları başarıyla teslim ettik. Daha fazla sorun için takip ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Bir üst düzey sağlayıcı ile bağlantılı olarak bozulan ağ performansını tespit ettik - burada güncellemeler sunmaya devam edeceğiz.
Bu sorun için bir düzeltme üzerinde çalışmaya devam ediyoruz.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Eğer klonlama başarısız olursa, dağıtma başarısız olacaktır. Deploy logları bu başarısızlıkla ilgili hataları sağlayacaktır. Bir dağıtma yeniden deneme başarılı olabilir. Şu anda bu konuyu araştırıyoruz.
Sorun tespit edildi ve bir düzeltme uygulanır.
Bu sorun için bir düzeltme üzerinde çalışmaya devam ediyoruz.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Maske üzerinde gerçek zamanlı güncellemeler etkileyen bir akış bulut sağlayıcısı ile bir sorun belirledik. Yaklaşık 19:10 UTC: - Dashboard: İşgücü durumu, hizmet olayları ve hizmet ve görev yönetimi durumu otomatik olarak güncelleyemez. Mevcut durumu görmek için sayfayı yenileyin. - SDK, bir görevi bitirmek için beklemek, yaklaşık 60 saniye sonra 500 hatayla başarısız olabilir. Görev kendilerini normalde koşmaya ve tamamlamaya çalışır. Bir görevi kontrol etmek için, GET /v1/task-runs/{taskRunIdR Deploys, koşu hizmetleri, veritabanı ve loglar etkilenmez.
Upstream sağlayıcımız sorunu çözdü ve etkilenen Render hizmetleri geri alındı. İzlemeye devam ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda bu konuyu araştırıyoruz.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Daha fazla sorun için izlemeye devam ediyoruz.
Geçici olarak ücretsiz hizmetlere dağıtıyoruz.
Sorun tespit edildi ve bir düzeltme uygulanır.
Yapılar tüm bölgelerde tekrar başlamaz ve ekibimiz hala kök nedenini ele almak için çalışıyor. Ücretsiz hizmetler için işçiler duraklanır. Daha fazla bilgimiz olduğu sürece başka bir güncelleme paylaşacağız.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz. İşbirlikleri ve ücretsiz durumlarda çalışan hizmetler için inşa etmek duraklamaya devam ediyor.
Bu olay çözüldü.
# ### Özet 14 Ekim'de, 12:12 ve 15:08 PDT \ (19:12 - 22:08 UTC\), tüm bölgelerdeki inşalar ve dağıtıldılar veya 2 saat ve 20 dakika boyunca önemli ölçüde gecikti. Bunun nedeni, koordinatların inşa ettiği, dağıtmaları ve diğer kritik platform operasyonlarının planlı bir versiyonunun parçası olarak bir veritabanı şema göçü idi. Göç yüksek yüke yol açtı ve bu sistemin veritabanının daha uzun vadeli bir kurtarma zamanı. Gelecekte bu sistemin yükseltmelerini ve modifikasyonlarını nasıl gerçekleştireceğiz, böylece benzer bir değişiklik tekrar kesintiye neden olamaz. # ## Effects İki etki dönemi vardı. Bu süre zarfında, canlı kullanıcı hizmetleri etkilenmedi, ancak tüm bölgelerde inşa edildi ve dağıtıldı, bitirmedi ya da önemli ölçüde gecikti. **Period 1: 12:12 - 12:40 PDT \ (19:12 - 19:40 UTC\), yaklaşık 28 dakika** * Yeni inşalar ve dağıtmalar başlamadı. İleride çalışanlar durdu. * Dashboard, API aracılığıyla bir dağıtım oluşturmak için bazı istekler ve 97 hata geri döndü (HTTP 500\). **Partial recovery: 12:40 - 13:18 PDT \ (19:40 - 20:18 UTC\)** * Oluşturun ve dağıtın, ancak dağıtmalar birkaç yüz milisan yerine başlamak için yaklaşık 20 saniye sürdü. **Period 2: 13:18 - 15:08 PDT \(20:18 - 22:08 UTC\), yaklaşık 1 saat 50 dakika** * Yapılar ve dağıtmalar gecikti, ilerlemede durdu \ (iş öncesi iş dışında) veya başarısız oldu. 13:51 PDT'den itibaren, neredeyse yeni inşalar başlayabilirdi. * Bazı kuyruklar iyileşmeden sonra başlamadı ve API'nin etkisi yoktu. Kullanıcılar bu dağıtımları yeniden denemeleri gerekiyordu. # ## Root Cause Render, inşaları, dağıtmaları ve diğer kritik platform operasyonları koordine etmek için içsel bir iş programı kullanır. Çalışmayı nasıl dağıttığına dair iyileştirmeler yapıyorduk ve bir test ortamında başarılı bir uygulama yaptıktan sonra bu sistemin geliştirilmesini planladık. Yükselt, büyük bir masayı kilitleyen ve veritabanı CPU kullanımını% 100'e taşıdı. Bu veritabanı hem sistemin temel iş durumunu hem de arama ve raporlama için kullanılan ikincil verileri depolar. Sistem, iş durumunu güvenilir bir şekilde okumayabilir veya yazamaz, bu yüzden inşa eder ve dağıtılır veya yavaşlayabilir. Mühendisler konuya hızlı bir şekilde uyarıldı ve yükseltmeyi yeniden başlattılar. Ancak, etkisi üç faktör genişletmiştir: * Bir veritabanı klonu oluşturmak için önceden belirlenmiş bir adım, alt bulut sağlayıcısından bir hata nedeniyle tamamlanamazdı, bu yüzden hızlı bir geri dönüş mevcut değildi. * Göç, yükseltmeyi yaptıktan sonra veritabanı üzerinde çalışmaya devam etti ve yükseltme tekrarlandı. Bu, başladıktan yaklaşık 1.5 saat sonra 13:49 PDT'de bulundu ve sona erdi. * Veritabanına kapasite eklemek için bir girişim, alt bulut sağlayıcısından bir hata nedeniyle başarısız oldu. # ## Timeline Tüm zamanlarda 2026-10-14 \(UTC-7) üzerinde PDT vardır. * **12:13** - Yükseltme, veritabanı şema geçişi dahil olmak üzere başladı. Veritabanı yükü yükselir ve inşa eder ve başlangıçları dağıtır. * **12:24 ** - Oluşturulanları inşa etmek ve dağıtmak için etkisi. Olay yükseldi. * **12:33** - Durum sayfası olayı açıldı. * **12:34 ** - Mühendisler yükseltmeyi iptal eder ve müşteriyi şema göçü gerçekleştirir. * **12:37** - İş zamanlama sistemi geri dönüyor. Yeniden inşa etmek ve dağıtmalar, yavaş dağıtma başlangıç zamanlarıyla. Dönem 1. * **13:17 ** - Mühendisler, sistemi yeniden denge kurmak için sağlıksız bir örnek olarak yeniden başlatırlar. Veritabanı bağlantıları ve hataları sistem genelinde artış. Dönem 2. * **13:37 ** - Free-tier dağıtmalar yükü azaltmak için durakladı. * **13:49** - Mühendisler şema göçü hala veritabanı üzerinde çalışıyor ve bunu sonlandırıyor. * **14:16** - Veritabanı yeniden başladı. Veritabanı kapasitesi eklemek için bir girişim, alt bulut sağlayıcısından bir hata nedeniyle başarısız olur. * **14:27 ** - Sistemin bileşenleri yeniden başladı. * **14:30 ** - Yapılar ve dağıtmalar, her zamanki inşadan daha yavaş ve gerilog işlendiği zaman dağıtmaya başlar. * **15:08 ** - Deploy zaman normal ve veritabanı yüküne geri dönmeye başlar. Dönem 2. * **15:11 ** - Free-tier dağıtmalar ve spin-uplar yavaş tekrar etkinleştirilir. * **15:18** - Olay çözüldü. # # ## ** Olay sırasında serbest bırakıldı ** * İş zamanlama bileşeni yükseltme ve yapılandırma değişikliğini geri verdi \(12:34 PDT\). * Pa used free-tier deploys and spin-ups to reduce, sonra onları yavaş iyileşmeden sonra yeniden etkinleştirdi. * hala veritabanı \(13:49 PDT\) üzerinde çalışan şema göçünü belgeledi. * Veritabanı ve iş zamanlama sistemini normal işlemi geri yüklemek için yeniden başlatır. * Yükseltme işlemi değişmiş olana kadar üretimde yükseltmeyi kullandı. ** Devam eden \( olay sırasında başladı)** * Bu veritabanı, çapraz alan Yüksek Erişilebilirliği desteklemek için yükseltilir. **Planlanmış** * Bu bileşen için yeni bir yükseltme ve dağıtım uygulaması uyguluyoruz: gelecekte bu sistemi yük altında yükseltmeden kaçınmak için mavi yeşil dağıtımları uygulayacağız. * İş planlayıcısı için temel depolama mekanizmalarını bu iş yükü türüne daha uygun hale getirin, sonra mavi-yeşil dağıtımlar uyguladık.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda bu konuyu araştırıyoruz.
Bu konuyu araştırmaya devam ediyoruz.
Etkilenen bileşenler geri dönüyor. Durumu takip ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda bu konuyu araştırıyoruz.
Upstream sağlayıcımız kurtarmaya başladı. Oregon'daki hizmetler gelişiyor ve izlemeye devam ediyoruz.
Tüm hizmetler, ücretsiz web hizmetleri hariç, geri alındı. İzlemeye devam ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda bu konuyu araştırıyoruz.
Oregon'da bir alt hizmet için inşa ve dağıtmalar başarısız oldu. Önceden inşa edilmiş bir Docker imajı ve statik siteleri kullanan hizmetler etkilenmedi.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
2026-09-23'te yaklaşık 23:31 UTC, 2024-03-05'den önce yaratılan Anahtar Değer hizmetleri, sonumuzdaki bir yapılandırma değişikliği nedeniyle yeniden başlatılmıştır. Daha fazla yeniden başlatma planlanmaz veya bu değişimin bir sonucu olarak beklenmiyor.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda bu konuyu araştırıyoruz.
Bu konuyu araştırmaya devam ediyoruz.
Sorun tespit edildi ve bir düzeltme uygulanır.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda bu konuyu araştırıyoruz.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Oregon'daki bazı web hizmetleri 19:20 ve 19:30 UTC arasında mevcut değildi.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Singapur bölgemizde bazı web hizmetlerini etkileyen hizmet istikrarsızlığı araştırıyoruz. Müşteriler beklenmedik hizmet yeniden başlatılabilir veya geçici kullanılabilirlik yaşayabilirler. Ekibimiz normal operasyonu restore etmek için aktif olarak araştırıyor ve çalışıyor. Daha fazla bilgi olarak bir güncelleme sağlayacağız.
Dağıtımların öncelikle bundan etkilendiğini gözlemliyoruz.
Singapur hizmetlerine gelen trafik etkileniyor. Singapur'daki ücretsiz hizmet spinleri (eşitten) geçici olarak çalışmaya devam ederken devre dışı bırakıldı.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda bu konuyu araştırıyoruz.
Bir konu üst düzey sağlayıcımız Google Cloud ile tespit edilmiştir. Free Web Services: Builds/deploys and spin-up, sorunu azaltmak için çalışırken geçici olarak engellidir.
Tüm bölgelerde inşa etmek ve dağıtmak için kurtarma gözlemliyoruz. Yapılar, dağıtlar ve ücretsiz web hizmetleri için spin-up yeniden etkinleştirildi. Bazı müşteriler kurtarma ilerlemeleri sırasında yüksek latency görmeye devam edebilir. İzlemeye devam ediyoruz.
Tam kurtarmayı gözlemliyoruz. Daha fazla sorun için izlemeye devam ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Panel aracılığıyla istekler her zamankinden daha yavaş olabilir. Şu anda konuyu araştırıyoruz.
Bu konuyu araştırmaya devam ediyoruz.
REST API aynı zamanda degraded performans yaşıyor. Sonuç olarak, zamanları deneyimleyebilir ve isteğinizi yeniden denemeniz gerekebilir. Araştırmaya devam ediyoruz.
Bir düzeltme uyguluyoruz ve sonuçları izliyoruz. İşsizlik nedenleri geçici olarak kullanılamaz. İşsizlik olayları hala oluşturulacaktır. Başarısız sebeplerin yeniden etkinleştirildiği bir güncelleme sağlayacaktır.
Düzeltmelerimiz nedeniyle daha fazla sorun gözlemlenmedi. Dashboard ve REST API tamamen operasyonel kalır. İşsizlik nedenleri hala devre dışı bırakılır. Bu olayı bir kez yeniden etkinleştirdikleri bir kez güncelleyeceğiz. Bugün için beklenen daha fazla güncelleme yok (2026-07-27, UTC-7).
Daha fazla sorunu gözlemlemeye ve başarısızlık nedenlerini dağıtmaya devam ettik.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Oregon bölgemizde barındırılan hizmetleri etkileyen bir altyapı sorunu araştırıyoruz. Bazı hizmetler ulaşılamaz veya deneyim başarısız istekler olabilir. Mühendislik ekibimiz, normal operasyonu tanımlamak ve restore etmek için aktif olarak çalışmaktadır.
Tüm hizmetlerde iyileşme gözlemliyoruz ve şimdi durumu izliyoruz.
Sorunun bir akış sağlayıcısı tarafından neden olduğuna inanıyoruz. Durumu izlemeye devam ediyoruz.
Bu olay şimdi çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda bu konuyu araştırıyoruz.
GitHub bir kesinti rapor etmeye devam ediyor, https://www.githubstatus.com. Bu, bir GitHub repository'den dağıtmaya çalışırken doğrulama başarısızlıklarına neden oluyor.
Şimdi inşa başarısızlık oranımızda bir kurtarma görüyoruz. Sorunu izlemeye devam ediyoruz.
Başarısızlık oranları iyileşti. Çözül.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
403 hatayla sonuçlanan ayak klon başarısızlıkları hakkında yüksek sayıda rapor aldık, dağıtıma ayak uydurmak. araştırıyoruz.
Dağıtmaya başarısız olan hizmetler Frankfurt'ta dağıtılanlardır. Koşu hizmetleri etkilenmez, sadece dağıtım süreci başarısız olur. Bu hataların nedenlerini bu hizmetler için belirlemek için hala çalışıyoruz.
Operasyonlar için GitHub havuzlarına güvenen Frankfurt'ta düzenlenen hizmetlere sahip kullanıcılar, dağıtımın başarısız olmasına neden olan günlüklerinde 403 hata görmeye devam ediyorlar. Bu konuda kendi sistemlerimizde çalışmaya devam ediyoruz ve GitHub'a ulaştık.
Bu sorunu azaltmak için çalışmaya devam ediyoruz, aynı zamanda bu dağıtım başarısızlıklarını çözmek için GitHub ile çalışıyoruz.
İşbirlikleri yaklaşık 08:40'dan beri sürekli olarak tamamlandı ve normal seviyelere geri dönüyor. Başka etkiler için takip ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Şu anda bu konuyu araştırıyoruz.
Bu konuyu araştırmaya devam ediyoruz.
GitHub, statüsünü REST API kullanılabilirliğini rapor etmek için güncelledi: https://www.githubstatus.com/incidents/gxyc3076xkkkk
GitHub, olaylarını hafiflettiğini ve istikrarı sağlamak için izlemelerini bildiriyor.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
Bazı kullanıcılar 2FA raporuna giriş panolarına erişmeye çalışırken giriş döngülerine kayıt oldu. araştırıyoruz.
Sorun tespit edildi ve bir düzeltme uygulanır.
Bir düzeltme uygulandı ve sonuçları takip ediyoruz.
Bu olay çözüldü.
Resmî olay güncellemesinden otomatik olarak çevrilmiştir.
