Transakcyjne wiadomości e-mail dla imprez platform, w tym, ale nie tylko do nowych kont logowania e-mail potwierdzeń, build serwisu / wdrożenia powiadomień o awarii, reset haseł itp. nie są obecnie wysyłane. Obecnie zajmujemy się tą kwestią.
monitoring
Zastosowaliśmy rozwiązanie i widzimy wiadomości z powodzeniem dostarczające. Monitorujemy wszelkie dalsze kwestie.
Jeśli klonowanie się nie powiedzie, nie uda się. Uruchomienie dzienników spowoduje błędy związane z tą porażką. Przesunięcie może się udać.
Obecnie badamy tę kwestię.
identified
Problem został zidentyfikowany i jest w trakcie wdrażania.
identified
Kontynuujemy prace nad rozwiązaniem tego problemu.
Zidentyfikowaliśmy problem z dostawcą chmur, który wpływa na aktualizacje Rendera. Od około 19: 10 UTC:
- Deska rozdzielcza: Stan wdrożenia, zdarzenia serwisowe oraz statusy usług i zadań nie mogą być automatycznie aktualizowane. Odśwież stronę, aby zobaczyć obecny stan.
- Rozmowy SDK, które czekają na zakończenie zadania, mogą się nie udać z błędem 500 po około 60 sekundach. Zadanie prowadzi się kontynuować i zakończyć normalnie. Aby sprawdzić status zadania, użyj GET / v1 / task- runs / {taskRunId}.
Nie ma to wpływu na rozmieszczenia, obsługę, bazy danych i dzienniki.
Problem został zidentyfikowany i jest w trakcie wdrażania.
identified
Buildowie nie zaczynają od nowa we wszystkich regionach, a nasz zespół nadal pracuje nad rozwiązaniem głównej przyczyny. Wdrożenia bezpłatnych usług pozostają wstrzymane. Podzielimy się kolejną aktualizacją, jak tylko zdobędziemy więcej informacji.
monitoring
Wprowadzono rozwiązanie i monitorujemy wyniki. Wdrożenie i budowa usług działających w wolnych instancjach są nadal wstrzymane.
resolved
Ten incydent został rozwiązany.
postmortem
Podsumowanie
W dniu 14 października 2026 r., między 12: 12 a 15: 08 PDT\ (19: 12 - 22: 08 UTC\), nie udało się rozpocząć, zablokować i rozłożyć we wszystkich regionach, lub zostały znacznie opóźnione podczas dwóch okresów uderzenia o około 2 godziny i 20 minut. Przyczyną był schemat migracji bazy danych prowadzony w ramach planowanej aktualizacji wersji naszego wewnętrznego harmonogramu pracy, który koordynuje budowanie, rozmieszczanie i inne krytyczne operacje platformy. Migracja doprowadziła do dużego obciążenia i oczekiwanego czasu odzyskiwania bazy danych tego systemu.
Zmienimy sposób przeprowadzania aktualizacji i modyfikacji tego systemu w bardzo dostępny sposób w przyszłości, tak aby podobna zmiana nie mogła spowodować ponownego przestoju.
# # Impact
Były dwa okresy oddziaływania. W tym czasie nie miało to wpływu na usługi użytkowników na żywo, ale budowa i rozmieszczenie we wszystkich regionach nie rozpoczęły się, nie zakończyły się lub były znacznie opóźnione.
* * Okres 1: 12: 12 - 12: 40 PDT\ (19: 12 - 19: 40 UTC\), około 28 minut * *
* Nowe budowle i rozmieszczenia nie zaczęły. Rozpoczynania opóźnione.
* Niektóre prośby o utworzenie programu poprzez tablicę rozdzielczą, API i CLI zwróciły błędy\ (HTTP 500\).
* * Częściowy odzysk: 12: 40 - 13: 18 PDT\ (19: 40 - 20: 18 UTC\) * *
* Builds and deploads run, but deploads took 20 seconds to start zamiast kilkuset milisekund.
* * Okres 2: 13: 18 - 15: 08 PDT\ (20: 18 - 22: 08 UTC\), około 1 godziny 50 minut * *
* Budowle i rozmieszczanie zostały opóźnione, zatrzymane w trakcie\ (w tym w przedrozmieszczeniu\), lub zawiodły. Od 13: 51 PDT prawie żadne nowe budowle nie mogły się rozpocząć.
* Niektóre rozkłady w kolejce nie zaczęły się po odzyskaniu, a anulowanie ich przez API nie miało żadnego skutku. Użytkownicy musieli ponownie spróbować tych wdrożeń.
# # Root Cause
Render wykorzystuje wewnętrzny system planowania pracy do koordynowania budowy, rozmieszczania i innych krytycznych operacji platform. Prowadziliśmy prace nad poprawkami w zakresie dystrybucji i rozpoczęliśmy planowaną modernizację tego systemu w produkcji po udanej praktyce w środowisku testowym.
Aktualizacja obejmowała migrację z bazy danych, która zablokowała dużą tabelę i doprowadziła do wykorzystania procesora bazy danych do 100%. Ta baza danych przechowuje zarówno podstawowy stan pracy systemu, jak i dane wtórne wykorzystywane do wyszukiwania i raportowania. System nie mógł czytać ani pisać stanu pracy niezawodnie, więc buduje i rozmieszczał zatrzymany lub spowolniony.
Inżynierowie zostali szybko poinformowani o tej sprawie i wycofali aktualizację. Jednakże trzy czynniki zwiększyły wpływ:
* Wstępny krok do stworzenia klonu bazy danych dla rollback nie mógł być ukończony z powodu błędu z bazowego dostawcy chmur, więc szybki rollback nie był dostępny.
* Migracja nadal działała w bazie danych po tym, jak klient wykonujący aktualizację został zatrzymany, a aktualizacja cofnięta. Znaleziono go i zakończono o 13: 49 PDT, około 1,5 godziny po jego rozpoczęciu.
* Próba dodania pojemności do bazy danych nie powiodła się z powodu błędu dostawcy podstawowej chmury.
# # Timeline
Wszystkie czasy są PDT na 2026- 10- 14\ (UTC- 7\).
* * * 12: 13 * * - Uruchomiono aktualizację, w tym migrację z bazy danych. Baza danych zwiększa się, buduje i rozmieszcza.
* * * 12: 24 * * - zidentyfikowany wpływ na budowę i rozmieszczenie. Incydent się nasilił.
* * * 12: 33 * * - Otwarty incydent na stronie statusu.
* * * 12: 34 * * - Inżynierowie cofają aktualizację i zatrzymują migrację schematów.
* * * 12: 37 * * - System planowania pracy odzyskuje. Wznowienie budowy i rozmieszczania, z wolniejszym uruchomieniem czasu startu. Koniec pierwszego okresu.
* * * 13: 17 * * * Inżynierowie ponownie uruchamiają jeden niezdrowy przypadek systemu, aby zrównoważyć obciążenie. Połączenia w bazie danych i błędy rosną w całym systemie. Początek okresu 2.
* * * 13: 37 * * - Free- tier developes paused to reduction load.
* * * 13: 49 * * * Engineers find the schema migration still running on the database and remove it.
* * * 14: 16 * * - Database restarted. Próba dodania przepustowości bazy danych nie powiodła się z powodu błędu dostawcy podstawowej chmury.
* * * 14: 27 * * - Pozostały elementy systemu ponownie uruchomione.
* * * 14: 30 * * - Budowy i rozmieszczanie zaczynają się odzyskiwać, z wolniejszym niż zwykle build i wdrożyć czasy, jak backlog jest przetwarzane.
* * * 15: 08 * * - Wdrożenie czasu rozpoczęcia wraca do normy, a obciążenie bazy danych wraca do poziomu sprzed incydentu. Koniec okresu 2.
* * * 15: 11 * * - Rozkład Free- tier i spin- upy stopniowo ponownie włączone.
* * * 15: 18 * * - Incydent rozwiązany.
Mitigacje
* * Ukończone podczas incydentu * *
* Odwrócił aktualizację komponentu programu zadań i zmianę konfiguracji\ (12: 34 PDT\).
* Paused free- tier developes i spin- up w celu zmniejszenia obciążenia, a następnie ponownie włączyć je stopniowo po odzyskaniu.
* Zakończyła migrację schematów, która nadal działała w bazie danych\ (13: 49 PDT\).
* Przywrócił bazę danych i system planowania zadań do przywrócenia normalnej pracy.
* Wstrzymał aktualizację w produkcji do czasu zmiany procesu aktualizacji.
* * W toku\ (rozpoczęty podczas incydentu\) * *
* Ta baza danych jest aktualizowana w celu wsparcia strefy krzyżowej wysokiej dostępności.
/ Planowane
* Wdrożenie nowej praktyki modernizacji i wdrażania tego komponentu: wdrożymy Blue-green wdrożeń, aby uniknąć modernizacji tego systemu pod obciążeniem w przyszłości.
* Dostosuj podstawowe mechanizmy pamięci masowej do harmonogramu zadań, aby lepiej dopasować się do tego typu obciążenia pracą, po wdrożeniu niebiesko-zielone developers.
Budownictwo i rozmieszczenie nie powiodło się dla podzbioru usług w Oregonie. Usługi wykorzystujące wcześniej zbudowany obraz Dockera i strony statyczne nie zostały naruszone.
Około 23: 31 UTC na 2026- 09- 23, Usługi Key Value utworzone przed 2024- 03- 05 zostały przypadkowo ponownie uruchomione z powodu zmiany konfiguracji na nasz koniec. W wyniku tej zmiany nie planuje się ani nie oczekuje się dalszego wznowienia.
Badamy niestabilność usług wpływających na niektóre usługi internetowe w naszym Singapurze. Klienci mogą doświadczyć niespodziewanego wznowienia serwisu lub przerywanej dostępności.
Nasz zespół aktywnie bada i pracuje nad przywróceniem normalnej operacji. Dostarczymy aktualizację w miarę dostępności większej ilości informacji.
investigating
Zauważyliśmy, że na rozmieszczenie wpływa przede wszystkim to.
investigating
Ruch do Singapuru ma wpływ.
Free service spinups (od bezczynności) w Singapurze zostały tymczasowo wyłączone podczas dalszego dochodzenia.
Builds and DeploysBuilds and DeploysBuilds and DeploysBuilds and DeploysBuilds and Deploys
investigating
Obecnie badamy tę kwestię.
identified
Zidentyfikowano problem z naszym dostawcą, Google Cloud.
Free Web Services: Builds / deploads and spin-up zostały tymczasowo wyłączone podczas pracy w celu złagodzenia problemu.
monitoring
Obserwujemy odbudowę budynków i zagospodarowania we wszystkich regionach. Builds, deploads, and spin-up for free web services zostały ponownie włączone. Niektórzy klienci mogą w dalszym ciągu dostrzegać podwyższone opóźnienia w trakcie odzyskiwania. Kontynuujemy monitorowanie.
monitoring
Obserwowaliśmy pełną rekonwalescencję. Kontynuujemy monitorowanie dalszych kwestii.
Wnioski przez deskę rozdzielczą mogą być wolniejsze niż zwykle. Badamy tę sprawę.
investigating
Nadal badamy tę kwestię.
investigating
API REST również doświadcza zdegradowanego działania. W rezultacie, wnioski do niego może doświadczyć timeout i może być konieczne ponowne wypróbowanie swojej prośby.
Kontynuujemy śledztwo.
monitoring
Wprowadziliśmy naprawę i monitorujemy wyniki. Wprowadzić przyczyny awarii będzie tymczasowo niedostępny. Wdrożenie awarii nadal będzie generowane. Dostarczymy aktualizację po ponownym uruchomieniu przyczyn awarii.
monitoring
Od czasu naszych poprawek nie zaobserwowano żadnych dalszych problemów. Deska rozdzielcza i API REST pozostają w pełni sprawne. Wprowadzić przyczyny awarii są nadal wyłączone. Będziemy aktualizować ten incydent, gdy zostaną ponownie włączone. Nie oczekuje się dalszych aktualizacji na dziś (2026- 07- 27, UTC- 7).
resolved
Nadal nie obserwowaliśmy żadnych dalszych problemów, a przyczyny awarii zostały ponownie włączone.
Badamy kwestię infrastruktury wpływającą na usługi świadczone w naszym regionie Oregon. Niektóre usługi mogą być nieosiągalne lub doświadczyć nieudanych wniosków. Nasz zespół inżynieryjny aktywnie pracuje nad zidentyfikowaniem przyczyny i przywróceniem normalnej pracy.
monitoring
Obserwowaliśmy rekonwalescencję we wszystkich służbach i teraz monitorujemy sytuację.
monitoring
Uważamy, że problem został spowodowany przez źródło energii. Monitorujemy sytuację.
Otrzymaliśmy zwiększoną liczbę doniesień o niepowodzeniu git clone, co doprowadziło do błędu 403, który przerwał wdrożenie. Prowadzimy śledztwo.
identified
Usługi, które nie są rozmieszczane, to usługi rozmieszczane we Frankfurcie. Usługi bieżące nie są naruszone, tylko proces rozmieszczania zawodzi. Nadal pracujemy nad określeniem przyczyny tego błędu dla tych usług.
identified
Użytkownicy świadczący usługi hostowane we Frankfurcie, którzy polegają na repozytoriach GitHub w celu wdrożenia nadal dostrzegają w swoich dziennikach 403 błędy powodujące niepowodzenie wdrożenia. Kontynuujemy prace nad tą kwestią w ramach naszych własnych systemów i dotarliśmy do GitHub.
identified
Nadal pracujemy nad złagodzeniem tej kwestii, a także współpracujemy z GitHubem w celu rozwiązania tych niepowodzeń.
monitoring
Wdrożenia są konsekwentnie zakończone od około 08: 40 i wracają do normalnego poziomu. Monitorujemy wszelkie inne skutki.
Przerwy w GitHub wpływające na tworzenie i wdrażanie nowych usług
Początek 16 lipca 2026 22:42 UTC · 1h 33m
OutageKrytyczny incydent
Dotknięte komponenty
Builds and DeploysBuilds and DeploysBuilds and DeploysBuilds and DeploysBuilds and Deploys
investigating
Obecnie badamy tę kwestię.
investigating
Nadal badamy tę kwestię.
identified
GitHub zaktualizował swoją stronę statusu w celu zgłoszenia zdegradowanej dostępności API REST: https: / / www.githubstatus.com / invents / gxycch3076xk
monitoring
GitHub donosi, że złagodzili swój incydent i monitorują go w celu zapewnienia stabilności.
