Cronologia delle interruzioni di Render

1. 24 ottobre 2026 alle ore 07:11 UTCidentified

   E-mail transazionali per eventi della piattaforma, tra cui, ma non limitato a nuove conferme di email di registrazione di account, notifiche di guasti di build/deploy di servizio, reimpostazioni password, ecc sono attualmente in mancato di inviare. Stiamo attualmente affrontando il problema.

2. 24 ottobre 2026 alle ore 07:30 UTCmonitoring

   Abbiamo applicato una correzione e vedere i messaggi con successo consegna. Stiamo monitorando ogni ulteriore problema.

3. 24 ottobre 2026 alle ore 07:41 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 23 ottobre 2026 alle ore 16:05 UTCidentified

   Abbiamo identificato le prestazioni di rete degradate legate a un fornitore a monte - continueremo a fornire aggiornamenti qui.

2. 23 ottobre 2026 alle ore 16:10 UTCidentified

   Stiamo continuando a lavorare per risolvere questo problema.

3. 23 ottobre 2026 alle ore 16:14 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati.

4. 23 ottobre 2026 alle ore 17:34 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 20 ottobre 2026 alle ore 20:48 UTCinvestigating

   Se la clonazione fallisce, il dispiegamento fallirà. I registri di distribuzione fornirà errori relativi a tale guasto. Il ripristino di una distribuzione può avere successo. Stiamo attualmente indagando su questo problema.

2. 20 ottobre 2026 alle ore 21:16 UTCidentified

   Il problema è stato identificato e si sta attuando una correzione.

3. 20 ottobre 2026 alle ore 23:46 UTCidentified

   Stiamo continuando a lavorare per risolvere questo problema.

4. 21 ottobre 2026 alle ore 00:08 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati.

5. 21 ottobre 2026 alle ore 00:29 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 15 ottobre 2026 alle ore 20:58 UTCidentified

   Abbiamo identificato un problema con un provider cloud a monte che sta influenzando gli aggiornamenti in tempo reale su Render. Da circa 19:10 UTC: - Dashboard: lo stato di distribuzione, gli eventi di servizio e gli stati dell'esecuzione del servizio e dell'attività non possono aggiornare automaticamente. Aggiorna la pagina per vedere lo stato corrente. - le chiamate SDK che aspettano un'esecuzione di attività per finire possono fallire con un errore di 500 dopo circa 60 secondi. Il compito si svolge continua a funzionare e completa normalmente. Per verificare lo stato dell'esecuzione delle attività, utilizzare GET /v1/task-runs/{taskRunId}. Distributori, servizi in esecuzione, database e registri non sono interessati.

2. 15 ottobre 2026 alle ore 21:53 UTCmonitoring

   Il nostro fornitore a monte ha risolto il problema, e i servizi Render interessati hanno recuperato. Stiamo continuando a monitorare.

3. 16 ottobre 2026 alle ore 01:12 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 14 ottobre 2026 alle ore 19:32 UTCinvestigating

   Stiamo attualmente indagando su questo problema.

2. 14 ottobre 2026 alle ore 19:45 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati.

3. 14 ottobre 2026 alle ore 19:47 UTCmonitoring

   Stiamo continuando a monitorare eventuali ulteriori problemi.

4. 14 ottobre 2026 alle ore 20:41 UTCmonitoring

   Siamo temporaneamente pausing schierati a servizi gratuiti.

5. 14 ottobre 2026 alle ore 20:55 UTCidentified

   Il problema è stato identificato e si sta attuando una correzione.

6. 14 ottobre 2026 alle ore 20:57 UTCidentified

   Le costruzioni non stanno ricominciando da capo in tutte le regioni, e il nostro team sta ancora lavorando per affrontare la causa principale. I servizi gratuiti rimangono in pausa. Condivideremo un altro aggiornamento non appena avremo maggiori informazioni.

7. 14 ottobre 2026 alle ore 21:43 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati. I dispiegamenti e le costruzioni per i servizi in esecuzione su istanze libere continuano ad essere sospesi.

8. 14 ottobre 2026 alle ore 22:18 UTCresolved

   Questo incidente è stato risolto.

9. 22 ottobre 2026 alle ore 17:58 UTCpostmortem

   ## Il 14 ottobre 2026, tra 12:12 e 15:08 PDT \(19:12 - 22:08 UTC\), costruisce e distribuisce in tutte le regioni non è riuscito a iniziare, stallato, o sono stati significativamente ritardati durante due periodi di impatto per un totale di circa 2 ore e 20 minuti. La causa era una migrazione dello schema del database come parte di un aggiornamento della versione pianificata del nostro programmatore di lavoro interno che coordina costruisce, distribuisce e altre operazioni della piattaforma critica. La migrazione ha portato ad alto carico e ad un tempo di recupero più lungo del database di questo sistema. Cambiamo il modo in cui effettuiamo aggiornamenti e modifiche di questo sistema in modo altamente disponibile in futuro in modo che un cambiamento simile non possa causare un'estrazione di nuovo. ### Impact Ci sono stati due periodi di impatto. Durante questo periodo, i servizi utente dal vivo non sono stati influenzati, ma le costruzioni e i dispiegamenti in tutte le regioni non sono iniziati, non sono riusciti a finire, o sono stati significativamente ritardati. **Periodo 1: 12:12 - 12:40 PDT \(19:12 - 19:40 UTC\), circa 28 minuti** * Nuove costruzioni e distribuzioni non hanno cominciato. Deploys in progress stalled. * Alcune richieste per creare una distribuzione attraverso Dashboard, API e CLI hanno restituito errori \(HTTP 500\). **Ricupero parziale: 12:40 - 13:18 PDT \(19:40 - 20:18 UTC\)** * Costruisce e distribuisce corse, ma gli schieramenti hanno richiesto circa 20 secondi per iniziare invece di qualche centinaio di millisecondi. **Periodo 2: 13:18 - 15:08 PDT \(20:18 - 22:08 UTC\), circa 1 ora 50 minuti** * Costruzioni e schieramenti sono stati ritardati, bloccati in corso \(compreso in pre-deploy\), o fallito. Dal 13:51 PDT, quasi nessuna nuova costruzione è stata in grado di iniziare. * Alcuni schieramenti in coda non hanno iniziato dopo il recupero, e la cancellazione attraverso l'API non ha avuto effetto. Gli utenti hanno bisogno di riprovare questi schieramenti. ## Root Cause Render utilizza un sistema di pianificazione del lavoro interno per coordinare le operazioni di costruzione, distribuzione e altre piattaforme critiche. Stavamo sviluppando miglioramenti a come distribuisce il lavoro, e ha iniziato un aggiornamento di versione pianificato di questo sistema in produzione dopo una pratica di successo eseguito in un ambiente di prova. L'aggiornamento includeva una migrazione dello schema di database che ha bloccato una grande tabella e ha guidato l'utilizzo della CPU del database al 100%. Questo database memorizza sia lo stato di lavoro principale del sistema e i dati secondari utilizzati per la ricerca e la segnalazione. Il sistema non poteva leggere o scrivere lo stato di lavoro in modo affidabile, quindi costruisce e distribuisce fermato o rallentato. Gli ingegneri sono stati avvisati del problema in modo rapido e reindirizzato l'aggiornamento. Tuttavia, tre fattori hanno esteso l'impatto: * Un passo pre-upgrade per creare un clone di database per rollback non poteva essere completato a causa di un errore dal provider cloud sottostante, quindi un rollback veloce non era disponibile. * La migrazione ha continuato a funzionare sul database dopo l'esecuzione del client l'aggiornamento è stato interrotto e l'aggiornamento è stato reindirizzato. È stato trovato e terminato alle 13:49 PDT, circa 1,5 ore dopo l'inizio. * Un tentativo di aggiungere capacità al database non è riuscito a causa di un errore del provider cloud sottostante. ## Timeline Tutti i tempi sono PDT su 2026-10-14 \(UTC-7\). * **12:13** - L'aggiornamento è iniziato, inclusa la migrazione degli schemi del database. Il carico del database aumenta e costruisce e distribuisce l'avvio di stop. * **12:24** - Impatto di costruire e distribuire identificato. Incidente escalato. * **12:33** - Situazione pagina incidente aperto. * **12:34** - Gli ingegneri reindirizzano l'aggiornamento e impediscono al client di eseguire la migrazione degli schemi. * **12:37** - Sistema di pianificazione del lavoro recupera. Costruire e distribuire il curriculum, con tempi di avvio più lenti. Fine del periodo 1. * **13:17** - Gli ingegneri riavviano un caso malsano del sistema per riequilibrare il carico. Le connessioni e gli errori del database aumentano in tutto il sistema. Inizio del periodo 2. * **13:37** - Free-tier distribuisce in pausa per ridurre il carico. * **13:49** - Gli ingegneri trovano la migrazione degli schemi ancora in esecuzione sul database e la terminano. Traduzione: Un tentativo di aggiungere la capacità del database fallisce a causa di un errore del provider cloud sottostante. * **14:27** - Componenti rimanenti del sistema riavviato. * **14:30** - Costruisce e distribuisce inizia a recuperare, con più lento del solito costruire e distribuire i tempi come il backlog viene elaborato. * **15:08** - I tempi di avvio del programma ritornano al normale e il carico del database ritorna ai livelli pre-incidenti. Fine del periodo 2. * **15:11** - Free-tier schiera e spin-up gradualmente riabilitato. Risolto l'incidente. ## Mitigazioni # # Completo durante l'incidente # * Revertito l'aggiornamento del componente del programmatore di lavoro e la modifica di configurazione \(12:34 PDT\). * Paused free-tier distribuisce e spin-up per ridurre il carico, poi riabilitato gradualmente dopo il recupero. * Terminato la migrazione dello schema che era ancora in esecuzione sul database \(13:49 PDT\). * Riavviare il database e il sistema di pianificazione del lavoro per ripristinare il funzionamento normale. * Paused l'aggiornamento in produzione fino a quando il processo di aggiornamento è cambiato. **Ongoing \(iniziato durante l'incidente\)**** * Questo database viene aggiornato per supportare cross-zone High Availability. ♪Planned ♪ * Implementare una nuova pratica di aggiornamento e distribuzione per questo componente: implementeremo distribuzioni blu-verde per evitare di aggiornare questo sistema sotto carico in futuro. * Regolare i meccanismi di archiviazione sottostanti per il programmatore di lavoro per essere più adatto a questo tipo di carico di lavoro, dopo che abbiamo implementato distribuzioni blu-verde.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 3 ottobre 2026 alle ore 19:35 UTCinvestigating

   Stiamo attualmente indagando su questo problema.

2. 3 ottobre 2026 alle ore 19:53 UTCinvestigating

   Stiamo continuando a indagare su questo problema.

3. 3 ottobre 2026 alle ore 20:13 UTCmonitoring

   I componenti danneggiati stanno recuperando. Stiamo monitorando la situazione.

4. 3 ottobre 2026 alle ore 20:21 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 27 settembre 2026 alle ore 01:24 UTCinvestigating

   Stiamo attualmente indagando su questo problema.

2. 27 settembre 2026 alle ore 01:36 UTCmonitoring

   Il nostro fornitore a monte ha iniziato a recuperare. I servizi dell'Oregon stanno migliorando e continuiamo a monitorare.

3. 27 settembre 2026 alle ore 02:17 UTCmonitoring

   Tutti i servizi, ad eccezione dei servizi web gratuiti, hanno recuperato. Continuiamo a monitorare.

4. 27 settembre 2026 alle ore 03:01 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 25 settembre 2026 alle ore 18:26 UTCinvestigating

   Stiamo attualmente indagando su questo problema.

2. 25 settembre 2026 alle ore 18:38 UTCresolved

   Costruisce e distribuisce fallito per un sottoinsieme di servizi in Oregon. I servizi utilizzando un'immagine Docker precostruita e i siti statici non sono stati colpiti.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 24 settembre 2026 alle ore 23:36 UTCresolved

   Circa 23:31 UTC su 2026-09-23, i servizi di valore chiave creati prima del 2024-03-05 sono stati inavvertitamente riavviatitititi a causa di un cambiamento di configurazione sulla nostra fine. Nessun ulteriore riavvio è previsto o previsto a seguito di tale cambiamento.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 9 settembre 2026 alle ore 21:26 UTCinvestigating

   Stiamo attualmente indagando su questo problema.

2. 9 settembre 2026 alle ore 21:32 UTCinvestigating

   Stiamo continuando a indagare su questo problema.

3. 9 settembre 2026 alle ore 21:34 UTCidentified

   Il problema è stato identificato e si sta attuando una correzione.

4. 9 settembre 2026 alle ore 21:38 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 2 settembre 2026 alle ore 17:19 UTCinvestigating

   Stiamo attualmente indagando su questo problema.

2. 2 settembre 2026 alle ore 17:30 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati.

3. 2 settembre 2026 alle ore 17:40 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 31 agosto 2026 alle ore 20:24 UTCresolved

   Alcuni servizi web in Oregon non erano disponibili tra 19:20 e 19:30 UTC.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 31 agosto 2026 alle ore 15:47 UTCinvestigating

   Stiamo indagando l'instabilità del servizio che colpisce alcuni servizi web nella nostra regione di Singapore. I clienti possono sperimentare riavviamenti di servizio inaspettati o disponibilità intermittente. Il nostro team sta attivamente indagando e lavorando per ripristinare il normale funzionamento. Forniremo un aggiornamento come ulteriori informazioni diventano disponibili.

2. 31 agosto 2026 alle ore 16:08 UTCinvestigating

   Abbiamo osservato che le distribuzioni sono principalmente influenzate da questo.

3. 31 agosto 2026 alle ore 16:33 UTCinvestigating

   Il traffico in entrata per i servizi di Singapore è influenzato. I free service spin-up (da idle) a Singapore sono stati temporaneamente disabilitati mentre continuiamo a indagare.

4. 31 agosto 2026 alle ore 17:22 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati.

5. 31 agosto 2026 alle ore 18:09 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 20 agosto 2026 alle ore 15:47 UTCinvestigating

   Stiamo attualmente indagando su questo problema.

2. 20 agosto 2026 alle ore 16:12 UTCidentified

   Un problema è stato identificato con il nostro provider a monte, Google Cloud. Servizi Web gratuiti: Builds/deploys e spin-up sono stati temporaneamente disabilitati mentre lavoriamo per mitigare il problema.

3. 20 agosto 2026 alle ore 17:27 UTCmonitoring

   Stiamo osservando il recupero per le costruzioni e gli schieramenti in tutte le regioni. Costruzioni, schieramenti e spin-up per i servizi web gratuiti sono stati riabilitati. Alcuni clienti possono continuare a vedere elevata latenza durante i progressi di recupero. Stiamo continuando a monitorare.

4. 20 agosto 2026 alle ore 17:45 UTCmonitoring

   Abbiamo osservato il pieno recupero. Stiamo continuando a monitorare per ulteriori problemi.

5. 20 agosto 2026 alle ore 19:40 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 27 luglio 2026 alle ore 14:43 UTCinvestigating

   Le richieste attraverso il cruscotto possono essere più lente del solito. Stiamo indagando sul problema.

2. 27 luglio 2026 alle ore 17:59 UTCinvestigating

   Stiamo continuando a indagare su questo problema.

3. 27 luglio 2026 alle ore 18:27 UTCinvestigating

   L'API REST sta anche sperimentando prestazioni degradate. Di conseguenza, le richieste a esso possono sperimentare timeout e potrebbe essere necessario riprovare la vostra richiesta. Stiamo continuando a indagare.

4. 27 luglio 2026 alle ore 20:18 UTCmonitoring

   Abbiamo implementato una correzione e stiamo monitorando i risultati. I motivi di guasto del deficit saranno temporaneamente non disponibili. Saranno ancora generati eventi falliti. Forniremo un aggiornamento una volta implementato i motivi di fallimento sono riabilitati.

5. 27 luglio 2026 alle ore 23:58 UTCmonitoring

   Non sono stati osservati ulteriori problemi fin dalle nostre correzioni. Le API Dashboard e REST rimangono completamente operative. I motivi di guasto della distribuzione sono ancora disabilitati. Si aggiornerà questo incidente una volta che saranno riabilitati. Non ci sono ulteriori aggiornamenti previsti per oggi (2026-07-27, UTC-7).

6. 28 luglio 2026 alle ore 19:35 UTCresolved

   Abbiamo continuato a non osservare ulteriori problemi e dispiegare ragioni di fallimento sono stati riabilitati.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 24 luglio 2026 alle ore 11:16 UTCinvestigating

   Stiamo indagando su un problema di infrastrutture che riguarda i servizi ospitati nella nostra regione dell'Oregon. Alcuni servizi possono essere richieste irraggiungibili o fallite. Il nostro team di ingegneria sta lavorando attivamente per identificare la causa e ripristinare il funzionamento normale.

2. 24 luglio 2026 alle ore 11:27 UTCmonitoring

   Abbiamo osservato il recupero in tutti i servizi e stiamo monitorando la situazione.

3. 24 luglio 2026 alle ore 11:44 UTCmonitoring

   Crediamo che il problema sia stato causato da un fornitore a monte. Stiamo continuando a monitorare la situazione.

4. 24 luglio 2026 alle ore 13:30 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 20 luglio 2026 alle ore 00:41 UTCinvestigating

   Stiamo attualmente indagando su questo problema.

2. 20 luglio 2026 alle ore 00:55 UTCidentified

   GitHub continua a segnalare un outage, https://www.githubstatus.com. Ciò sta causando errori di autenticazione quando si tenta di distribuire da un repository GitHub.

3. 20 luglio 2026 alle ore 01:54 UTCmonitoring

   Stiamo ora vedendo un recupero nel nostro tasso di fallimento di costruzione. Stiamo continuando a monitorare il problema.

4. 20 luglio 2026 alle ore 02:11 UTCresolved

   Costruisce i tassi di guasto sono stati recuperati. Risolvere.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 19 luglio 2026 alle ore 03:44 UTCinvestigating

   Abbiamo ricevuto un elevato numero di report sui guasti di clone git che hanno causato un errore di 403, interrompendo l'implementazione. Stiamo indagando.

2. 19 luglio 2026 alle ore 03:55 UTCidentified

   I servizi che non si dispiegano sono quelli schierati a Francoforte. I servizi in esecuzione non sono influenzati, solo il processo di distribuzione è in fallimento. Stiamo ancora lavorando per determinare la causa di questo errore per quei servizi.

3. 19 luglio 2026 alle ore 05:57 UTCidentified

   Gli utenti con servizi ospitati a Francoforte che si affidano a repository GitHub per le distribuzioni continuano a vedere 403 errori nei loro registri causando il fallimento della distribuzione. Stiamo continuando a lavorare su questo problema all'interno dei nostri sistemi e abbiamo raggiunto GitHub.

4. 19 luglio 2026 alle ore 08:29 UTCidentified

   Stiamo continuando a lavorare per mitigare questo problema, mentre lavoriamo anche con GitHub per risolvere questi fallimenti di distribuzione.

5. 19 luglio 2026 alle ore 09:10 UTCmonitoring

   I risultati sono stati costantemente completando da circa 08:40, e stanno tornando a livelli normali. Stiamo monitorando per qualsiasi altro impatto.

6. 19 luglio 2026 alle ore 09:20 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 16 luglio 2026 alle ore 22:42 UTCinvestigating

   Stiamo attualmente indagando su questo problema.

2. 16 luglio 2026 alle ore 22:42 UTCinvestigating

   Stiamo continuando a indagare su questo problema.

3. 16 luglio 2026 alle ore 23:09 UTCidentified

   GitHub ha aggiornato la sua pagina di stato per segnalare la disponibilità di REST API degradata: https://www.githubstatus.com/incidents/gxycch3076xk

4. 17 luglio 2026 alle ore 00:13 UTCmonitoring

   GitHub riferisce che hanno mitigato il loro incidente e stanno monitorando per garantire la stabilità.

5. 17 luglio 2026 alle ore 00:14 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 15 luglio 2026 alle ore 21:50 UTCinvestigating

   Alcuni utenti iscritti a 2FA report loop di login quando si tenta di accedere alla dashboard Render. Stiamo indagando.

2. 15 luglio 2026 alle ore 21:55 UTCidentified

   Il problema è stato identificato e si sta attuando una correzione.

3. 15 luglio 2026 alle ore 22:06 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati.

4. 15 luglio 2026 alle ore 22:56 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.