Render driftsforstyrrelser

1. 24. oktober 2026 kl. 07.11 UTCidentified

   Transaktionelle e-mails til platform begivenheder, herunder, men ikke begrænset til nye konto sign- up e-mail bekræftelser, service build / deployering fiasko meddelelser, password resets, osv. er i øjeblikket undlader at sende. Vi behandler i øjeblikket spørgsmålet.

2. 24. oktober 2026 kl. 07.30 UTCmonitoring

   Vi har anvendt en rettelse og se meddelelser med succes levere. Vi overvåger alle andre spørgsmål.

3. 24. oktober 2026 kl. 07.41 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 23. oktober 2026 kl. 16.05 UTCidentified

   Vi har identificeret nedbrudt netværkspræstation knyttet til en opstrømsleverandør - vi vil fortsætte med at levere opdateringer her.

2. 23. oktober 2026 kl. 16.10 UTCidentified

   Vi fortsætter med at arbejde på en løsning på dette problem.

3. 23. oktober 2026 kl. 16.14 UTCmonitoring

   Et fix er blevet gennemført, og vi overvåger resultaterne.

4. 23. oktober 2026 kl. 17.34 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 20. oktober 2026 kl. 20.48 UTCinvestigating

   Hvis kloning mislykkes, vil deployeringen mislykkes. Deploy logs vil give fejl i forbindelse med denne fejl. Genoplivning af en deployering kan lykkes. Vi undersøger i øjeblikket dette spørgsmål.

2. 20. oktober 2026 kl. 21.16 UTCidentified

   Spørgsmålet er blevet identificeret, og et fix er ved at blive gennemført.

3. 20. oktober 2026 kl. 23.46 UTCidentified

   Vi fortsætter med at arbejde på en løsning på dette problem.

4. 21. oktober 2026 kl. 00.08 UTCmonitoring

   Et fix er blevet gennemført, og vi overvåger resultaterne.

5. 21. oktober 2026 kl. 00.29 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 15. oktober 2026 kl. 20.58 UTCidentified

   Vi har identificeret et problem med en opstrøms cloud-udbyder, der påvirker realtidsopdateringer på Render. 19: 10 UTC: - Dashboard: Deploy status, service events, og service og opgavelinje statusser kan ikke opdateres automatisk. Genopfrisk siden for at se den aktuelle tilstand. - SDK kalder, der venter på en opgave køre til slut kan mislykkes med en 500 fejl efter omkring 60 sekunder. Opgaven kører sig selv holde kører og fuldføre normalt. For at kontrollere en opgaves status, skal du bruge GET / v1 / task- runs / {taskRunId}. Deploys, løbetjenester, databaser og logfiler påvirkes ikke.

2. 15. oktober 2026 kl. 21.53 UTCmonitoring

   Vores opstrømsleverandør har løst problemet, og berørte Render-tjenester er kommet sig. Vi fortsætter med at overvåge.

3. 16. oktober 2026 kl. 01.12 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 14. oktober 2026 kl. 19.32 UTCinvestigating

   Vi undersøger i øjeblikket dette spørgsmål.

2. 14. oktober 2026 kl. 19.45 UTCmonitoring

   Et fix er blevet gennemført, og vi overvåger resultaterne.

3. 14. oktober 2026 kl. 19.47 UTCmonitoring

   Vi fortsætter med at overvåge for yderligere spørgsmål.

4. 14. oktober 2026 kl. 20.41 UTCmonitoring

   Vi holder midlertidigt pause for at få gratis tjenester.

5. 14. oktober 2026 kl. 20.55 UTCidentified

   Spørgsmålet er blevet identificeret, og et fix er ved at blive gennemført.

6. 14. oktober 2026 kl. 20.57 UTCidentified

   Bygninger begynder ikke igen på tværs af alle regioner, og vores team arbejder stadig på at løse den grundlæggende årsag. Deploys for gratis tjenester forbliver pause. Vi deler en ny opdatering, så snart vi har flere oplysninger.

7. 14. oktober 2026 kl. 21.43 UTCmonitoring

   Et fix er blevet gennemført, og vi overvåger resultaterne. Deploys og builds til tjenester, der kører på gratis instanser fortsætter med at blive holdt på pause.

8. 14. oktober 2026 kl. 22.18 UTCresolved

   Denne hændelse er blevet løst.

9. 22. oktober 2026 kl. 17.58 UTCpostmortem

   # # # Oversigt Den 14. oktober 2026, mellem 12: 12 og 15: 08 PDT\ (19: 12 - 22: 08 UTC\), bygger og implementerer på tværs af alle regioner undladt at starte, gået i stå, eller blev betydeligt forsinket i løbet af to perioder af effekt i alt omkring 2 timer og 20 minutter. Årsagen var en database skema migration køre som en del af en planlagt version opgradering af vores interne job scheduler, der koordinerer bygger, implementerer, og andre kritiske platform operationer. Migrationen førte til høj belastning og en længere-end-forventet opsving tid i dette systems database. Vi vil ændre, hvordan vi udfører opgraderinger og ændringer af dette system på en meget tilgængelig måde i fremtiden, så en lignende ændring ikke kan forårsage et udfald igen. # # Impact Der var to perioder med virkning. I løbet af denne periode, live-user tjenester ikke blev påvirket, men bygger og implementerer på tværs af alle regioner undladt at starte, undladt at afslutte, eller blev betydeligt forsinket. * * Periode 1: 12: 12 - 12: 40 PDT\ (19: 12 - 19: 40 UTC\), ca. 28 minutter * * * Nye bygger og implementerer ikke starte. Deploys i gang gået i stå. * Nogle anmodninger om at oprette en implementering gennem Dashboard, API og CLI returnerede fejl\ (HTTP 500\). * * Delvis helbredelse: 12: 40 - 13: 18 PDT\ (19: 40 - 20: 18 UTC\) * * * Bygninger og apply løb, men Apply tog omkring 20 sekunder at starte i stedet for et par hundrede millisekunder. * * Periode 2: 13: 18 - 15: 08 PDT\ (20: 18 - 22: 08 UTC\), ca. 1 time 50 minutter * * * Bygninger og installationer blev forsinket, gået i stå\ (herunder i pre-implementering\), eller mislykkedes. Fra 13: 51 PDT, næsten ingen nye bygninger var i stand til at starte. * Nogle queued apply ikke starte efter inddrivelse, og annullere dem gennem API havde ingen effekt. Brugerne skulle prøve igen. # # Root Cause Render bruger et internt jobscheduler system til at koordinere bygger, installationer og andre kritiske platform operationer. Vi rullede ud forbedringer til, hvordan det distribuerer arbejde, og begyndte en planlagt version opgradering af dette system i produktionen efter en vellykket praksis køre i et testmiljø. Opgraderingen omfattede en database skema migration, der låste et stort bord og kørte database CPU udnyttelse til 100%. Denne database gemmer både systemets centrale jobtilstand og sekundære data, der anvendes til søgning og rapportering. Systemet kunne ikke læse eller skrive jobtilstand pålideligt, så bygger og implementerer stoppet eller bremset. Ingeniører blev advaret om problemet hurtigt og vendt opgraderingen. Men tre faktorer udvidede virkningen: * En præ-opgradering trin til at oprette en database klon til rollback kunne ikke afsluttes på grund af en fejl fra den underliggende cloud-udbyder, så en hurtig rollback var ikke tilgængelig. * Migrationen fortsatte med at køre på databasen efter klienten udfører opgraderingen blev stoppet og opgraderingen vendt tilbage. Det blev fundet og afsluttet kl 13: 49 PDT, omkring 1,5 timer efter at det startede. * Et forsøg på at tilføje kapacitet til databasen mislykkedes på grund af en fejl fra den underliggende cloud-udbyder. Timeline Alle tidspunkter er PDT på 2026- 10- 14\ (UTC- 7\). * * * 12: 13 * * - Opgraderingen er startet, herunder databasen skema migration. Database belastning stiger og bygger og implementerer stoppe med at starte. * * 12: 24 * * - Indvirkning på bygninger og installationer identificeret. Hændelsen eskalerede. * * * 12: 33 * * - Status side hændelse åbnet. * * 12: 34 * * - Ingeniører vende opgraderingen og stoppe klienten udfører skema migration. * * * 12: 37 * * - Jobscheduler system genopretter. Bygger og implementerer genoptage, med langsommere implementering starttider. Slutningen af periode 1. * * 13: 17 * * - Ingeniører genstarte en usund instans af systemet til at genbalancere belastning. Databasens forbindelser og fejl øges på tværs af systemet. Begyndelsen af periode 2. * * 13: 37 * * - Free- tier apply sat på pause for at reducere belastningen. * * 13: 49 * * - Ingeniører finde skema migration stadig kører på databasen og afslutte det. * * * 14: 16 * * - Databasen er genstartet. Et forsøg på at tilføje databasekapacitet mislykkes på grund af en fejl fra den underliggende cloud-udbyder. * * * 14: 27 * * - Resterende komponenter i systemet genstartes. * * * 14: 30 * * - Bygninger og installationer begynder at komme sig, med langsommere end normalt bygge og implementere gange som backlog er behandlet. * * * 15: 08 * * - Imploy starttider vende tilbage til normal og database belastning returneres til præ-hændelse niveauer. Slutningen af periode 2. * * 15: 11 * * - Free- tier appliys og spin- ups gradvist re- aktiveret. * * * 15: 18 * * - Tilfælde løst. # # Mistænkninger * * Færdig under hændelsen * * * Omvendt job scheduler komponent opgradering og konfiguration ændring\ (12: 34 PDT\). * Paused free- tier apply og spin- ups til at reducere belastningen, derefter re-aktiveret dem gradvist efter nyttiggørelse. * Afsluttede den skema migration, der stadig kørte på databasen\ (13: 49 PDT\). * Genstartet databasen og job scheduler system til at genoprette normal drift. * Paused opgraderingen i produktionen indtil opgraderingen er ændret. * * Løbende\ (startet under hændelsen\) * * * Denne database er ved at blive opgraderet til at støtte cross-zone High Tilgængelighed. * * Planlagt * * * Implementere en ny opgradering og implementering praksis for denne komponent: vi vil gennemføre blue-green applikationer for at undgå at opgradere dette system under belastning i fremtiden. * Juster de underliggende opbevaringsmekanismer for jobscheduler til at være bedre egnet til denne arbejdsbyrde type, efter vi har gennemført blue-green apply.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 3. oktober 2026 kl. 19.35 UTCinvestigating

   Vi undersøger i øjeblikket dette spørgsmål.

2. 3. oktober 2026 kl. 19.53 UTCinvestigating

   Vi fortsætter med at undersøge dette spørgsmål.

3. 3. oktober 2026 kl. 20.13 UTCmonitoring

   Implementerede komponenter er ved at komme sig. Vi overvåger situationen.

4. 3. oktober 2026 kl. 20.21 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 27. september 2026 kl. 01.24 UTCinvestigating

   Vi undersøger i øjeblikket dette spørgsmål.

2. 27. september 2026 kl. 01.36 UTCmonitoring

   Vores opstrømsleverandør er begyndt at komme sig. Tjenesterne i Oregon bliver bedre, og vi overvåger fortsat.

3. 27. september 2026 kl. 02.17 UTCmonitoring

   Alle tjenester, undtagen gratis web-tjenester niveau, er kommet sig. Vi fortsætter med at overvåge.

4. 27. september 2026 kl. 03.01 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 25. september 2026 kl. 18.26 UTCinvestigating

   Vi undersøger i øjeblikket dette spørgsmål.

2. 25. september 2026 kl. 18.38 UTCresolved

   Bygninger og installationer mislykkedes for en delmængde af tjenester i Oregon. Tjenester ved hjælp af en præbygget Docker billede og statiske websteder var upåvirket.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 24. september 2026 kl. 23.36 UTCresolved

   Omkring 23: 31 UTC på 2026- 09- 23, Key Value tjenester oprettet før 2024- 03- 05 blev utilsigtet genstartet på grund af en konfiguration ændring på vores ende. Der planlægges eller forventes ingen yderligere genstart som følge af denne ændring.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 9. september 2026 kl. 21.26 UTCinvestigating

   Vi undersøger i øjeblikket dette spørgsmål.

2. 9. september 2026 kl. 21.32 UTCinvestigating

   Vi fortsætter med at undersøge dette spørgsmål.

3. 9. september 2026 kl. 21.34 UTCidentified

   Spørgsmålet er blevet identificeret, og et fix er ved at blive gennemført.

4. 9. september 2026 kl. 21.38 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 2. september 2026 kl. 17.19 UTCinvestigating

   Vi undersøger i øjeblikket dette spørgsmål.

2. 2. september 2026 kl. 17.30 UTCmonitoring

   Et fix er blevet gennemført, og vi overvåger resultaterne.

3. 2. september 2026 kl. 17.40 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 31. august 2026 kl. 20.24 UTCresolved

   Nogle webtjenester i Oregon var ikke tilgængelige mellem 19: 20 og 19: 30 UTC.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 31. august 2026 kl. 15.47 UTCinvestigating

   Vi undersøger ustabiliteten i tjenesten, der påvirker nogle webtjenester i vores Singapore-region. Kunderne kan opleve uventede service genstarter eller periodisk tilgængelighed. Vores team undersøger og arbejder aktivt på at genoprette normal drift. Vi vil give en opdatering som mere information bliver tilgængelig.

2. 31. august 2026 kl. 16.08 UTCinvestigating

   Vi har observeret, at Apply primært er påvirket af dette.

3. 31. august 2026 kl. 16.33 UTCinvestigating

   Indgående trafik til Singapore tjenester er påvirket. Gratis service spin- ups (fra tomgang) i Singapore er blevet midlertidigt deaktiveret, mens vi fortsætter med at undersøge.

4. 31. august 2026 kl. 17.22 UTCmonitoring

   Et fix er blevet gennemført, og vi overvåger resultaterne.

5. 31. august 2026 kl. 18.09 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 20. august 2026 kl. 15.47 UTCinvestigating

   Vi undersøger i øjeblikket dette spørgsmål.

2. 20. august 2026 kl. 16.12 UTCidentified

   Et problem er blevet identificeret med vores opstrømsleverandør, Google Cloud. Gratis webtjenester: Bygninger / installationer og spin- up er midlertidigt blevet deaktiveret, mens vi arbejder på at mindske problemet.

3. 20. august 2026 kl. 17.27 UTCmonitoring

   Vi observerer opsvinget for bygninger og installationer i alle regioner. Bygninger, installationer og spin- up til gratis webtjenester er blevet re- aktiveret. Nogle kunder kan fortsætte med at se forhøjet latency, mens inddrivelse skrider frem. Vi fortsætter med at overvåge.

4. 20. august 2026 kl. 17.45 UTCmonitoring

   Vi har set fuld bedring. Vi fortsætter med at overvåge for yderligere spørgsmål.

5. 20. august 2026 kl. 19.40 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 27. juli 2026 kl. 14.43 UTCinvestigating

   Anmodninger gennem instrumentbrættet kan være langsommere end normalt. Vi undersøger sagen.

2. 27. juli 2026 kl. 17.59 UTCinvestigating

   Vi fortsætter med at undersøge dette spørgsmål.

3. 27. juli 2026 kl. 18.27 UTCinvestigating

   REST API oplever også forringet ydeevne. Som et resultat, anmodninger til det kan opleve timeouts, og du kan være nødt til at prøve igen din anmodning. Vi fortsætter med at undersøge sagen.

4. 27. juli 2026 kl. 20.18 UTCmonitoring

   Vi har implementeret et fix og overvåger resultaterne. Årsager til manglende implementering vil være midlertidigt utilgængelige. Opsætning fiasko begivenheder vil stadig blive genereret. Vi vil give en opdatering, når implementere fejl årsager er re- aktiveret.

5. 27. juli 2026 kl. 23.58 UTCmonitoring

   Ingen andre problemer er blevet observeret siden vores rettelser. Dashboardet og REST API forbliver fuldt operationelt. Deplay fejl årsager er stadig deaktiveret. Vi vil opdatere denne hændelse, når de er re- aktiveret. Der er ingen yderligere opdateringer forventes for i dag (2026-07- 27, UTC-7).

6. 28. juli 2026 kl. 19.35 UTCresolved

   Vi har fortsat med at observere ingen yderligere problemer og implementere fiasko grunde er blevet re- aktiveret.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 24. juli 2026 kl. 11.16 UTCinvestigating

   Vi undersøger et infrastrukturproblem, der påvirker de tjenester, der er hostet i vores Oregon-region. Nogle tjenester kan være uopnåelige eller opleve mislykkede anmodninger. Vores ingeniørhold arbejder aktivt på at identificere årsagen og genoprette normal drift.

2. 24. juli 2026 kl. 11.27 UTCmonitoring

   Vi har set bedring på tværs af alle tjenester og overvåger nu situationen.

3. 24. juli 2026 kl. 11.44 UTCmonitoring

   Vi mener, at problemet skyldtes en opstrømsleverandør. Vi fortsætter med at overvåge situationen.

4. 24. juli 2026 kl. 13.30 UTCresolved

   Denne hændelse er nu løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 20. juli 2026 kl. 00.41 UTCinvestigating

   Vi undersøger i øjeblikket dette spørgsmål.

2. 20. juli 2026 kl. 00.55 UTCidentified

   Http: / / ec.europa.eu / environment / index _ en.htm Dette forårsager autentificeringsfejl, når du forsøger at implementere fra et GitHub-arkiv.

3. 20. juli 2026 kl. 01.54 UTCmonitoring

   Vi ser nu en bedring i vores build fiasko sats. Vi fortsætter med at overvåge spørgsmålet.

4. 20. juli 2026 kl. 02.11 UTCresolved

   Byggesvigt er kommet sig. Løser.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 19. juli 2026 kl. 03.44 UTCinvestigating

   Vi har modtaget et højt antal rapporter om git klon fejl resulterer i en 403 fejl, afbryder deployeringen. Vi efterforsker det.

2. 19. juli 2026 kl. 03.55 UTCidentified

   Tjenester, der ikke kan deployeres, er dem, der anvendes i Frankfurt. Driftstjenester påvirkes ikke, kun implementeringsprocessen svigter. Vi arbejder stadig på at fastslå årsagen til denne fejl for disse tjenester.

3. 19. juli 2026 kl. 05.57 UTCidentified

   Brugere med tjenester hostet i Frankfurt, der er afhængige af GitHub datalagre til deployeringer fortsætter med at se 403 fejl i deres logfiler forårsager deployeringen til at mislykkes. Vi arbejder fortsat med dette spørgsmål inden for vores egne systemer og har nået GitHub.

4. 19. juli 2026 kl. 08.29 UTCidentified

   Vi arbejder fortsat på at afhjælpe dette problem, samtidig med at vi samarbejder med GitHub om at løse disse implementeringsfejl.

5. 19. juli 2026 kl. 09.10 UTCmonitoring

   Deployments har været konsekvent afsluttet siden omkring 08: 40, og vender tilbage til normale niveauer. Vi overvåger alle andre påvirkninger.

6. 19. juli 2026 kl. 09.20 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 16. juli 2026 kl. 22.42 UTCinvestigating

   Vi undersøger i øjeblikket dette spørgsmål.

2. 16. juli 2026 kl. 22.42 UTCinvestigating

   Vi fortsætter med at undersøge dette spørgsmål.

3. 16. juli 2026 kl. 23.09 UTCidentified

   GitHub har opdateret sin statusside for at rapportere forringet adgang til REST API: https: / / www.githubstatus.com / parties / gxycch3076xk

4. 17. juli 2026 kl. 00.13 UTCmonitoring

   GitHub rapporterer, at de har afbødet deres hændelse og overvåger for at sikre stabilitet.

5. 17. juli 2026 kl. 00.14 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.

1. 15. juli 2026 kl. 21.50 UTCinvestigating

   Nogle brugere tilmeldt i 2FA rapport login loops, når de forsøger at få adgang til Render dashboard. Vi efterforsker.

2. 15. juli 2026 kl. 21.55 UTCidentified

   Spørgsmålet er blevet identificeret, og et fix er ved at blive gennemført.

3. 15. juli 2026 kl. 22.06 UTCmonitoring

   Et fix er blevet gennemført, og vi overvåger resultaterne.

4. 15. juli 2026 kl. 22.56 UTCresolved

   Denne hændelse er blevet løst.

Automatisk oversat fra den officielle hændelsesopdatering.