Istoricul incidentelor Render

1. 24 octombrie 2026 la 07:11 UTCidentified

   E-mailuri tranzacţionale pentru evenimente de pe platformă, inclusiv, dar fără a se limita la noi confirmări de e-mail de sign-up cont, construirea de servicii / desfăşurarea de notificări de eşec, resetări de parolă, etc. sunt în prezent nu reuşesc să trimită. În prezent abordăm această problemă.

2. 24 octombrie 2026 la 07:30 UTCmonitoring

   Am aplicat un fix şi am văzut mesajele livrând cu succes. Monitorizăm orice alte probleme.

3. 24 octombrie 2026 la 07:41 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 23 octombrie 2026 la 16:05 UTCidentified

   Am identificat performanța de rețea degradată legată de un furnizor din amonte - vom continua să oferim actualizări aici.

2. 23 octombrie 2026 la 16:10 UTCidentified

   Continuăm să lucrăm la o soluție pentru această problemă.

3. 23 octombrie 2026 la 16:14 UTCmonitoring

   A fost implementată o soluţie şi monitorizăm rezultatele.

4. 23 octombrie 2026 la 17:34 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 20 octombrie 2026 la 20:48 UTCinvestigating

   Dacă clonarea eşuează, lansarea va eşua. Lansarea jurnalelor va oferi erori legate de acest eșec. Retrierea unei campanii ar putea avea succes. În prezent investigăm această problemă.

2. 20 octombrie 2026 la 21:16 UTCidentified

   Problema a fost identificată și se pune în aplicare o soluție.

3. 20 octombrie 2026 la 23:46 UTCidentified

   Continuăm să lucrăm la o soluție pentru această problemă.

4. 21 octombrie 2026 la 00:08 UTCmonitoring

   A fost implementată o soluţie şi monitorizăm rezultatele.

5. 21 octombrie 2026 la 00:29 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 15 octombrie 2026 la 20:58 UTCidentified

   Am identificat o problemă cu un furnizor de cloud în amonte care afectează actualizări în timp real pe Render. Deoarece aproximativ 19:10 UTC: - Tablou de bord: Starea de desfășurare, evenimente de service și statute de funcționare a serviciului și a sarcinilor nu pot fi actualizate automat. Reîmprospătează pagina pentru a vedea starea actuală. - SDK apelează că așteptați pentru un termen de sarcină pentru a termina poate eșua cu o eroare de 500 după aproximativ 60 de secunde. Sarcina se execută ei înșiși continua să fie difuzate și complet în mod normal. Pentru a verifica starea unui test, utilizaţi GET / v1/task-runs/{taskRunId}. Desfăşurarea, funcţionarea serviciilor, bazele de date şi jurnalele nu sunt afectate.

2. 15 octombrie 2026 la 21:53 UTCmonitoring

   Furnizorul nostru din amonte a rezolvat problema, iar serviciile Render afectate s-au recuperat. Continuăm să monitorizăm.

3. 16 octombrie 2026 la 01:12 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 14 octombrie 2026 la 19:32 UTCinvestigating

   În prezent investigăm această problemă.

2. 14 octombrie 2026 la 19:45 UTCmonitoring

   A fost implementată o soluţie şi monitorizăm rezultatele.

3. 14 octombrie 2026 la 19:47 UTCmonitoring

   Continuăm să monitorizăm orice alte probleme.

4. 14 octombrie 2026 la 20:41 UTCmonitoring

   Suntem temporar oprire desfasurari la servicii gratuite.

5. 14 octombrie 2026 la 20:55 UTCidentified

   Problema a fost identificată și se pune în aplicare o soluție.

6. 14 octombrie 2026 la 20:57 UTCidentified

   Clădirile nu reușesc să înceapă din nou în toate regiunile, iar echipa noastră încă lucrează pentru a aborda cauza principală. Desfășurările pentru servicii gratuite rămân întrerupte. Vom împărtăși o altă actualizare de îndată ce vom avea mai multe informații.

7. 14 octombrie 2026 la 21:43 UTCmonitoring

   A fost implementată o soluţie şi monitorizăm rezultatele. Desfăşurarea şi construirea serviciilor care funcţionează în cazuri libere continuă să fie întrerupte.

8. 14 octombrie 2026 la 22:18 UTCresolved

   Acest incident a fost rezolvat.

9. 22 octombrie 2026 la 17:58 UTCpostmortem

   ### Rezumat La 14 octombrie 2026, între 12:12 şi 15:08 PDT \(19:12 - 22:08 UTC\), construieşte şi desfăşoară în toate regiunile, nu au reuşit să pornească, au stagnat sau au fost întârziate semnificativ în două perioade de impact totalizând aproximativ 2 ore şi 20 de minute. Cauza a fost o bază de date schema de migrare rula ca parte a unei versiuni planificate upgrade de programator nostru de locuri de muncă interne care coordonează construiește, pune în aplicare, și alte operațiuni de platformă critice. Migrația a condus la o sarcină ridicată și la o perioadă de recuperare mai lungă decât cea preconizată a bazei de date a sistemului. Vom schimba modul în care vom efectua upgrade-uri și modificări ale acestui sistem într-un mod extrem de disponibil în viitor, astfel încât o schimbare similară nu poate provoca din nou o întrerupere. Impact Au fost două perioade de impact. În acest timp, serviciile de utilizator live nu au fost afectate, dar construiește și desfășoară în toate regiunile nu a reușit să înceapă, nu a reușit să termine sau au fost semnificativ întârziate. **Period 1: 12:12 - 12:40 PDT \(19:12 - 19:40 UTC\), aproximativ 28 minute ** * Noi construcţii şi desfăşurari nu au început. Desfășurările în curs au stagnat. * Unele cereri pentru a crea o implementare prin Dashboard, API, și CLI erori returnate \ (HTTP 500\). **Recuperare partiala: 12:40 - 13:18 PDT \(19:40 - 20:18 UTC\) ** * Clădiri și desfasurari a fugit, dar implementari a luat aproximativ 20 de secunde pentru a începe în loc de câteva sute de milisecunde. **Period 2: 13:18 - 15:08 PDT \(20:18 - 22:08 UTC\), aproximativ 1 oră 50 minute ** * Clădiri și implementari au fost întârziate, blocate în curs de desfășurare \ (inclusiv în prealabil de desfășurare\), sau nu a reușit. De la 13:51 PDT, aproape nici o construcţie nouă nu a putut începe. * Unele rulaje la coadă nu au început după recuperare, iar anularea lor prin intermediul API nu a avut nici un efect. Utilizatorii au nevoie pentru a rejudeca aceste implementari. ### Root Cause Render utilizează un sistem intern de planificare a locurilor de muncă pentru a coordona construirea, implementarea și alte operațiuni de platformă critice. Am fost de rulare îmbunătățiri la modul în care distribuie de lucru, și a început o actualizare a versiunii planificate a acestui sistem în producție după o practică de succes rula într-un mediu de testare. Actualizarea a inclus o schemă de bază de migrare care a blocat o masă mare și a condus utilizarea bazei de date CPU la 100%. Această bază de date stochează atât starea de bază a postului, cât și datele secundare utilizate pentru căutare și raportare. Sistemul nu a putut citi sau scrie starea de muncă în mod fiabil, astfel încât construiește și se desfășoară oprit sau încetinit. Inginerii au fost alertați cu privire la problema rapid și reverificat actualizarea. Cu toate acestea, trei factori au extins impactul: * Un pas pre-upgrade pentru a crea o clonă de bază de date pentru rollback nu a putut fi completat din cauza unei erori de la furnizorul de cloud de bază, astfel încât o rollback rapid nu a fost disponibil. * Migrația a continuat să ruleze în baza de date după ce clientul care efectuează actualizarea a fost oprit și upgrade-ul a revenit. A fost găsit și terminat la 13:49 PDT, aproximativ 1,5 ore după ce a început. * O încercare de a adăuga capacitate în baza de date a eșuat din cauza unei erori din partea furnizorului de cloud-uri. ### Timeline Toate timpurile sunt PDT pe 2026-10-14 \ [UTC-7\]. * **12:13** - upgrade-ul a început, inclusiv schema de bază de migrare. Bază de date de încărcare se ridică și construiește și se desfășoară opri pornirea. * **12:24** - Impact pentru construirea și implementarea identificate. Incidentul a crescut. * **12:33** - S-a deschis incidentul de pe pagina de stare. * **12:34** - Inginerii revin la upgrade și opresc clientul care efectuează migrarea schema. * **12:37** - Sistemul programator de locuri de muncă se recuperează. Construiește și lansează CV-ul, cu timpi de pornire mai lenti. Sfârşitul perioadei 1. * **13:17** - Inginerii repornesc un exemplu nesănătos al sistemului pentru a reechilibra sarcina. Conexiunile și erorile de baze de date cresc în sistem. Începutul perioadei 2. * **13:37** - Desfășurări gratuite pentru a reduce sarcina. * **13:49** - Inginerii găsesc schema de migrare încă rulează în baza de date și o termină. * **14:16** - Bază de date repornită. O încercare de adăugare a capacității bazei de date nu reușește din cauza unei erori din partea furnizorului de cloud-uri suport. * **14:27** - Componente rămase ale sistemului repornit. * **14:30** - Construiește și se desfășoară începe să recupereze, cu mai lent decât de obicei construi și implementa ori ca backlog este procesat. * **15:08** - Desfăşuraţi timpii de pornire întoarceţi-vă la normal, iar încărcătura din baza de date revine la nivelul pre-incident. Sfârşitul perioadei 2. * **15:11** - Free-tier desfăşoară şi spin-up-uri treptat re-enabled. * **15:18** - Incident rezolvat. ### Metuments ** Completat în timpul incidentului ** * Reversed the job calendarer component upgrade and configuration change \(12:34 PDT\). * Desfășurări de nivel liber întrerupte și spin-up-uri pentru a reduce sarcina, apoi re-activate le treptat după recuperare. * Terminat schema de migrare care a fost încă difuzate pe baza de date \(13:49 PDT\). * Repornit baza de date și sistemul programator de locuri de muncă pentru a restabili funcționarea normală. * A întrerupt upgrade-ul în producție până când procesul de actualizare este schimbat. Traducerea şi adaptarea: * Această bază de date este în curs de actualizare pentru a sprijini cross-zone de mare disponibilitate. ** Planificat ** * Punerea în aplicare a unei noi practici de upgrade și implementare pentru această componentă: vom implementa desfășurări albastre-verzi pentru a evita modernizarea acestui sistem sub sarcină în viitor. * Ajustați mecanismele de stocare de bază pentru ca programul de locuri de muncă să fie mai adecvat pentru acest tip de muncă, după ce am implementat desfășurări albastru-verde.

Traducere automată din actualizarea oficială a incidentului.

1. 3 octombrie 2026 la 19:35 UTCinvestigating

   În prezent investigăm această problemă.

2. 3 octombrie 2026 la 19:53 UTCinvestigating

   Continuăm să investigăm această problemă.

3. 3 octombrie 2026 la 20:13 UTCmonitoring

   Componentele afectate se recuperează. Monitorizăm situaţia.

4. 3 octombrie 2026 la 20:21 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 27 septembrie 2026 la 01:24 UTCinvestigating

   În prezent investigăm această problemă.

2. 27 septembrie 2026 la 01:36 UTCmonitoring

   Furnizorul nostru din amonte a început recuperarea. Serviciile din Oregon se îmbunătăţesc şi continuăm să monitorizăm.

3. 27 septembrie 2026 la 02:17 UTCmonitoring

   Toate serviciile, cu excepția nivelului de servicii web gratuite, s-au recuperat. Continuăm să monitorizăm.

4. 27 septembrie 2026 la 03:01 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 25 septembrie 2026 la 18:26 UTCinvestigating

   În prezent investigăm această problemă.

2. 25 septembrie 2026 la 18:38 UTCresolved

   Construcțiile și implementarea nu a reușit pentru un subset de servicii în Oregon. Serviciile folosind o imagine Docker prebuilt și site-uri statice nu au fost afectate.

Traducere automată din actualizarea oficială a incidentului.

1. 24 septembrie 2026 la 23:36 UTCresolved

   În jurul orei 23:31 UTC din 2026-09-23, serviciile Key Value create înainte de 2024-03-05 au fost repornite accidental din cauza schimbării configurației la sfârșitul nostru. Nu sunt planificate sau preconizate alte reporniri ca urmare a acestei modificări.

Traducere automată din actualizarea oficială a incidentului.

1. 9 septembrie 2026 la 21:26 UTCinvestigating

   În prezent investigăm această problemă.

2. 9 septembrie 2026 la 21:32 UTCinvestigating

   Continuăm să investigăm această problemă.

3. 9 septembrie 2026 la 21:34 UTCidentified

   Problema a fost identificată și se pune în aplicare o soluție.

4. 9 septembrie 2026 la 21:38 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 2 septembrie 2026 la 17:19 UTCinvestigating

   În prezent investigăm această problemă.

2. 2 septembrie 2026 la 17:30 UTCmonitoring

   A fost implementată o soluţie şi monitorizăm rezultatele.

3. 2 septembrie 2026 la 17:40 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 31 august 2026 la 20:24 UTCresolved

   Unele servicii web din Oregon nu erau disponibile între orele 19:20 și 19:30 UTC.

Traducere automată din actualizarea oficială a incidentului.

1. 31 august 2026 la 15:47 UTCinvestigating

   Investigăm instabilitatea serviciilor care afectează unele servicii web din regiunea noastră Singapore. Clienții pot experimenta reporniri neașteptate serviciu sau disponibilitate intermitentă. Echipa noastră investighează activ și lucrează pentru a restabili funcționarea normală. Vom oferi o actualizare pe măsură ce mai multe informații devin disponibile.

2. 31 august 2026 la 16:08 UTCinvestigating

   Am observat că dislocările sunt afectate în primul rând de asta.

3. 31 august 2026 la 16:33 UTCinvestigating

   Traficul către serviciile din Singapore este afectat. În timp ce continuăm să investigăm, s-au dezactivat temporar spin-up-urile de servicii gratuite din Singapore.

4. 31 august 2026 la 17:22 UTCmonitoring

   A fost implementată o soluţie şi monitorizăm rezultatele.

5. 31 august 2026 la 18:09 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 20 august 2026 la 15:47 UTCinvestigating

   În prezent investigăm această problemă.

2. 20 august 2026 la 16:12 UTCidentified

   O problemă a fost identificată cu furnizorul nostru din amonte, Google Cloud. Servicii Web Gratuite: Construcţii/locaţii şi spin-up au fost temporar dezactivate în timp ce lucrăm pentru a atenua problema.

3. 20 august 2026 la 17:27 UTCmonitoring

   Observăm redresarea pentru construcţii şi desfăşurare în toate regiunile. Construirea, implementarea și rotirea pentru servicii web gratuite au fost reinstalate. Unii clienți pot continua să vadă latență ridicată în timp ce redresarea progresează. Continuăm să monitorizăm.

4. 20 august 2026 la 17:45 UTCmonitoring

   Am observat recuperarea completă. Continuăm să monitorizăm orice alte probleme.

5. 20 august 2026 la 19:40 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 27 iulie 2026 la 14:43 UTCinvestigating

   Cererile prin tabloul de bord pot fi mai lente decât de obicei. Acum investigăm problema.

2. 27 iulie 2026 la 17:59 UTCinvestigating

   Continuăm să investigăm această problemă.

3. 27 iulie 2026 la 18:27 UTCinvestigating

   REST API se confruntă, de asemenea, cu performanțe degradate. În consecinţă, cererile pot avea timeout-uri şi este posibil să fie necesar să încercaţi din nou cererea dumneavoastră. Continuăm să investigăm.

4. 27 iulie 2026 la 20:18 UTCmonitoring

   Am implementat o soluţie şi monitorizăm rezultatele. Motivele eşecului vor fi temporar indisponibile. Lansarea de evenimente de eșec vor fi încă generate. Vă vom oferi o actualizare odată ce implementa motivele de eșec sunt re-enabled.

5. 27 iulie 2026 la 23:58 UTCmonitoring

   Nu au mai fost observate alte probleme de la reparatiile noastre. Tabloul de bord și API-ul REST rămân pe deplin operaționale. Motivele de eșec sunt încă dezactivate. Vom actualiza acest incident odată ce acestea sunt re-enabled. Nu se preconizează alte actualizări pentru ziua de astăzi (2026-07-27, UTC-7).

6. 28 iulie 2026 la 19:35 UTCresolved

   Am continuat să observăm alte probleme şi să trimitem motive de eşec au fost reabilitate.

Traducere automată din actualizarea oficială a incidentului.

1. 24 iulie 2026 la 11:16 UTCinvestigating

   Investigăm o problemă de infrastructură care afectează serviciile găzduite în regiunea Oregon. Unele servicii pot fi inaccesibile sau cereri eșuate de experiență. Echipa noastră de inginerie lucrează activ pentru a identifica cauza și a restabili funcționarea normală.

2. 24 iulie 2026 la 11:27 UTCmonitoring

   Am observat redresarea în toate serviciile şi acum monitorizăm situaţia.

3. 24 iulie 2026 la 11:44 UTCmonitoring

   Credem că problema a fost cauzată de un furnizor din amonte. Continuăm să monitorizăm situaţia.

4. 24 iulie 2026 la 13:30 UTCresolved

   Acest incident a fost rezolvat acum.

Traducere automată din actualizarea oficială a incidentului.

1. 20 iulie 2026 la 00:41 UTCinvestigating

   În prezent investigăm această problemă.

2. 20 iulie 2026 la 00:55 UTCidentified

   GitHub continuă să raporteze o întrerupere, https://www.githubstatus.com. Acest lucru cauzează eșecuri de autentificare atunci când încercați să implementați dintr-un depozit GitHub.

3. 20 iulie 2026 la 01:54 UTCmonitoring

   Vedem acum o recuperare a ratei de eşec. Continuăm să monitorizăm problema.

4. 20 iulie 2026 la 02:11 UTCresolved

   Construiește rate de eșec au recuperat. Rezolvare.

Traducere automată din actualizarea oficială a incidentului.

1. 19 iulie 2026 la 03:44 UTCinvestigating

   Am primit un număr ridicat de rapoarte despre eșecurile de clonă git care au dus la o eroare de 403, abandonarea implementării. Investigăm.

2. 19 iulie 2026 la 03:55 UTCidentified

   Serviciile care nu reușesc să desfășoare sunt cele desfășurate la Frankfurt. Serviciile de funcționare nu sunt afectate, doar procesul de desfășurare este în criză. Încă lucrăm pentru a determina cauza acestei erori pentru aceste servicii.

3. 19 iulie 2026 la 05:57 UTCidentified

   Utilizatorii cu servicii găzduite la Frankfurt care se bazează pe depozite GitHub pentru desfasurari continua sa vada 403 de erori in jurnalele lor cauzand esecul implementarii. Continuăm să lucrăm la această problemă în cadrul propriilor noastre sisteme și am ajuns la GitHub.

4. 19 iulie 2026 la 08:29 UTCidentified

   Continuăm să lucrăm în vederea atenuării acestei probleme, în timp ce colaborăm cu GitHub pentru a rezolva aceste eșecuri de implementare.

5. 19 iulie 2026 la 09:10 UTCmonitoring

   Desfășurările au fost finalizate în mod constant de la aproximativ 08:40 și revin la niveluri normale. Monitorizăm orice alt impact.

6. 19 iulie 2026 la 09:20 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 16 iulie 2026 la 22:42 UTCinvestigating

   În prezent investigăm această problemă.

2. 16 iulie 2026 la 22:42 UTCinvestigating

   Continuăm să investigăm această problemă.

3. 16 iulie 2026 la 23:09 UTCidentified

   GitHub și-a actualizat pagina de stare pentru a raporta disponibilitatea REST degradată: https://www.githubstatus.com/incidente/gxycch3076xk

4. 17 iulie 2026 la 00:13 UTCmonitoring

   GitHub raportează că şi-au atenuat incidentul şi monitorizează stabilitatea.

5. 17 iulie 2026 la 00:14 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.

1. 15 iulie 2026 la 21:50 UTCinvestigating

   Unii utilizatori s-au înscris în buclele de conectare 2FA la încercarea de a accesa tabloul de bord Render. Investigăm.

2. 15 iulie 2026 la 21:55 UTCidentified

   Problema a fost identificată și se pune în aplicare o soluție.

3. 15 iulie 2026 la 22:06 UTCmonitoring

   A fost implementată o soluţie şi monitorizăm rezultatele.

4. 15 iulie 2026 la 22:56 UTCresolved

   Acest incident a fost rezolvat.

Traducere automată din actualizarea oficială a incidentului.