История сбоев Render

1. 24 октября 2026 г. в 07:11 UTCidentified

   Транзакционные электронные письма для событий на платформе, включая, но не ограничиваясь этим, новые подтверждения электронной почты для регистрации учетной записи, уведомления о сбоях при создании / развертывании службы, сброс паролей и т. Д., В настоящее время не отправляются. В настоящее время мы занимаемся этим вопросом.

2. 24 октября 2026 г. в 07:30 UTCmonitoring

   Мы применили исправление и видим сообщения, успешно доставляемые. Мы следим за любыми дальнейшими вопросами.

3. 24 октября 2026 г. в 07:41 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 23 октября 2026 г. в 16:05 UTCidentified

   Мы выявили ухудшение сетевой производительности, связанное с провайдером upstream - мы будем продолжать предоставлять обновления здесь.

2. 23 октября 2026 г. в 16:10 UTCidentified

   Мы продолжаем работать над решением этой проблемы.

3. 23 октября 2026 г. в 16:14 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

4. 23 октября 2026 г. в 17:34 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 20 октября 2026 г. в 20:48 UTCinvestigating

   Если клонирование не удастся, развертывание не удастся. Развертывание журналов обеспечит ошибки, связанные с этим сбоем. Повторное развертывание может быть успешным. В настоящее время мы расследуем этот вопрос.

2. 20 октября 2026 г. в 21:16 UTCidentified

   Этот вопрос был определен, и в настоящее время осуществляется исправление.

3. 20 октября 2026 г. в 23:46 UTCidentified

   Мы продолжаем работать над решением этой проблемы.

4. 21 октября 2026 г. в 00:08 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

5. 21 октября 2026 г. в 00:29 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 15 октября 2026 г. в 20:58 UTCidentified

   Мы выявили проблему с провайдером облачных вычислений, которая влияет на обновления Render в режиме реального времени. Примерно с 19:10 UTC: Dashboard: статус развертывания, события обслуживания, а также статусы запуска служб и задач могут не обновляться автоматически. Обновите страницу, чтобы увидеть текущее состояние. Звонки SDK, ожидающие завершения выполнения задачи, могут выйти из строя с ошибкой 500 примерно через 60 секунд. Задача выполняется сама по себе и выполняется нормально. Для проверки состояния выполнения задачи используйте GET/v1/task-runs/{taskRunId}. Развертывания, запущенные службы, базы данных и журналы не затрагиваются.

2. 15 октября 2026 г. в 21:53 UTCmonitoring

   Наш провайдер upstream решил проблему, и пострадавшие службы Render восстановились. Мы продолжаем следить.

3. 16 октября 2026 г. в 01:12 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 14 октября 2026 г. в 19:32 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 14 октября 2026 г. в 19:45 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

3. 14 октября 2026 г. в 19:47 UTCmonitoring

   Мы продолжаем отслеживать любые дополнительные проблемы.

4. 14 октября 2026 г. в 20:41 UTCmonitoring

   Мы временно приостанавливаем развертывание бесплатных услуг.

5. 14 октября 2026 г. в 20:55 UTCidentified

   Этот вопрос был определен, и в настоящее время осуществляется исправление.

6. 14 октября 2026 г. в 20:57 UTCidentified

   Строительство не может начаться снова во всех регионах, и наша команда все еще работает над устранением первопричины. Развертывание бесплатных услуг остается приостановленным. Мы поделимся еще одним обновлением, как только у нас будет больше информации.

7. 14 октября 2026 г. в 21:43 UTCmonitoring

   Реализовано исправление, и мы следим за результатами. Развертывания и сборки для сервисов, работающих на бесплатных экземплярах, продолжают приостанавливаться.

8. 14 октября 2026 г. в 22:18 UTCresolved

   Этот инцидент был урегулирован.

9. 22 октября 2026 г. в 17:58 UTCpostmortem

   ###Резюме 14 октября 2026 года, между 12:12 и 15:08 PDT (19:12 - 22:08 UTC), сборки и развертывания во всех регионах не смогли начаться, застопорились или были значительно задержаны в течение двух периодов удара общей продолжительностью около 2 часов 20 минут. Причиной была миграция схемы базы данных в рамках запланированного обновления версии нашего внутреннего планировщика рабочих мест, который координирует сборку, развертывание и другие критически важные операции платформы. Миграция привела к высокой нагрузке и более длительному, чем ожидалось, времени восстановления базы данных этой системы. В будущем мы изменим то, как мы выполняем обновления и модификации этой системы, чтобы подобное изменение не могло снова вызвать отключение. ###Воздействие Было два периода воздействия. В течение этого времени услуги живых пользователей не пострадали, но сборки и развертывания во всех регионах не начались, не закончились или были значительно отложены. **Период 1: 12:12 - 12:40 PDT\(19:12 - 19:40 UTC\), около 28 минут** Новые сборки и развертывания не начались. Развертывание застопорилось. Некоторые запросы на создание развертывания через Dashboard, API и CLI возвращали ошибки \(HTTP 500\). Частичное восстановление: 12:40 - 13:18 PDT (19:40 - 20:18 UTC)** Построения и развертывания запущены, но развертывания заняли около 20 секунд, чтобы начать вместо нескольких сотен миллисекунд. **Период 2: 13:18 - 15:08 ПДТ\(20:18 - 22:08 UTC\), около 1 часа 50 минут** * Постройки и развертывания задерживались, тормозились (в том числе в процессе предварительного развертывания) или проваливались. С 13:51 ПДТ практически не смогли начаться новые постройки. Некоторые очерченные развертывания не запускались после восстановления, и отмена их через API не имела никакого эффекта. Пользователям нужно было повторить эти развертывания. ###Коренная причина Render использует внутреннюю систему планирования работы для координации сборок, развертываний и других критически важных операций платформы. Мы внедряли улучшения в том, как она распределяет работу, и начали плановое обновление этой системы в производстве после успешной практики в тестовой среде. Обновление включало миграцию схемы базы данных, которая блокировала большую таблицу и довела использование процессора базы данных до 100%. Эта база данных хранит как основное состояние работы системы, так и вторичные данные, используемые для поиска и отчетности. Система не могла надежно читать или писать состояние работы, поэтому сборки и развертывания останавливались или замедлялись. Инженеры были предупреждены о проблеме быстро и вернули обновление. Тем не менее, три фактора расширили влияние: Шаг предварительного обновления для создания клона базы данных для отката не мог быть завершен из-за ошибки от базового облачного провайдера, поэтому быстрый откат не был доступен. Миграция продолжала работать в базе данных после того, как клиент, выполняющий обновление, был остановлен и обновление возвращено. Он был найден и прекращен в 13:49 по местному времени, примерно через 1,5 часа после его начала. Попытка добавить емкость в базу данных не удалась из-за ошибки от базового облачного провайдера. ###Время Все времена PDT на 2026-10-14 \(UTC-7\). ***12:13** - Начато обновление, включающее миграцию схемы базы данных. Загрузка базы данных увеличивается, сборка и развертывание прекращаются. ** 12:24** - Определение воздействия на сборку и развертывание. Инцидент обострился. ***12:33** - Инцидент на странице статуса открыт. 12:34 Инженеры возвращают обновление и останавливают клиента, выполняющего миграцию схемы. ***12:37** - Восстанавливается система планировщиков работы. Создает и развертывает резюме, с более медленным временем начала развертывания. Конец периода 1. 13:17 Инженеры перезапускают один нездоровый экземпляр системы для перебалансировки нагрузки. Количество подключений и ошибок в базе данных увеличивается по всей системе. Начало периода 2. ***13:37** - развертывания свободного уровня приостановлены для уменьшения нагрузки. 13:49 Инженеры находят, что миграция схемы все еще работает в базе данных, и прекращают ее. ***14:16** - Перезапущена база данных. Попытка добавить емкость базы данных терпит неудачу из-за ошибки, допущенной облачным провайдером. ***14:27** - Оставшиеся компоненты системы перезапущены. ** 14:30 ** - сборки и развертывания начинают восстанавливаться с более медленным, чем обычно, временем сборки и развертывания по мере обработки отставания. ***15:08** - Время начала развертывания возвращается к норме, а нагрузка на базу данных возвращается к уровням до инцидента. Конец периода 2. ***15:11** - развертывания и спин-ап постепенно возобновляются. 15:18 - Инцидент разрешен. ###Смягчение последствий ** Завершено во время инцидента** * Обновление компонента планировщика вакансий и изменение конфигурации \(12:34 PDT\). * Приостановленные развертывания и спин-ап для снижения нагрузки, а затем их постепенное восстановление. * Прекратил миграцию схемы, которая все еще работала в базе данных \(13:49 PDT\). * Перезапущена база данных и система планировщиков рабочих мест для восстановления нормальной работы. Приостановил модернизацию в производстве до тех пор, пока процесс обновления не будет изменен. ** Продолжается (начинается во время инцидента)** Эта база данных обновляется для поддержки межзоновой доступности. ** Планируется** Внедрить новую практику обновления и развертывания для этого компонента: мы будем внедрять сине-зеленые развертывания, чтобы избежать модернизации этой системы под нагрузкой в будущем. * Настройте базовые механизмы хранения, чтобы планировщик рабочих мест лучше подходил для этого типа рабочей нагрузки после того, как мы внедрили сине-зеленые развертывания.

Автоматический перевод официального обновления инцидента.

1. 3 октября 2026 г. в 19:35 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 3 октября 2026 г. в 19:53 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 3 октября 2026 г. в 20:13 UTCmonitoring

   Поврежденные компоненты восстанавливаются. Мы следим за ситуацией.

4. 3 октября 2026 г. в 20:21 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 27 сентября 2026 г. в 01:24 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 27 сентября 2026 г. в 01:36 UTCmonitoring

   Наш провайдер начал восстанавливаться. Услуги в Орегоне улучшаются, и мы продолжаем следить.

3. 27 сентября 2026 г. в 02:17 UTCmonitoring

   Все сервисы, за исключением бесплатного веб-сервиса, восстановлены. Мы продолжаем следить.

4. 27 сентября 2026 г. в 03:01 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 25 сентября 2026 г. в 18:26 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 25 сентября 2026 г. в 18:38 UTCresolved

   Создание и развертывание не удалось для подмножества услуг в Орегоне. Сервисы, использующие предварительно построенное изображение Docker и статические сайты, не пострадали.

Автоматический перевод официального обновления инцидента.

1. 24 сентября 2026 г. в 23:36 UTCresolved

   Около 23:31 UTC 2026-09-23 службы Key Value, созданные до 2024-03-05, были случайно перезапущены из-за изменения конфигурации на нашем конце. Никаких дальнейших перезапусков не планируется и не ожидается в результате этих изменений.

Автоматический перевод официального обновления инцидента.

1. 9 сентября 2026 г. в 21:26 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 9 сентября 2026 г. в 21:32 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 9 сентября 2026 г. в 21:34 UTCidentified

   Этот вопрос был определен, и в настоящее время осуществляется исправление.

4. 9 сентября 2026 г. в 21:38 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 2 сентября 2026 г. в 17:19 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 2 сентября 2026 г. в 17:30 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

3. 2 сентября 2026 г. в 17:40 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 31 августа 2026 г. в 20:24 UTCresolved

   Некоторые веб-сервисы в Орегоне были недоступны между 19:20 и 19:30 UTC.

Автоматический перевод официального обновления инцидента.

1. 31 августа 2026 г. в 15:47 UTCinvestigating

   Мы расследуем нестабильность сервисов, влияющих на некоторые веб-сервисы в нашем регионе. Клиенты могут столкнуться с неожиданными перезагрузками обслуживания или периодической доступностью. Наша команда активно исследует и работает над восстановлением нормальной работы. Мы предоставим обновление по мере поступления дополнительной информации.

2. 31 августа 2026 г. в 16:08 UTCinvestigating

   Мы заметили, что развертывание в первую очередь зависит от этого.

3. 31 августа 2026 г. в 16:33 UTCinvestigating

   Пострадает входящий трафик на услуги Сингапура. Бесплатные услуги в Сингапуре временно отключены, пока мы продолжаем расследование.

4. 31 августа 2026 г. в 17:22 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

5. 31 августа 2026 г. в 18:09 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 20 августа 2026 г. в 15:47 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 20 августа 2026 г. в 16:12 UTCidentified

   Была выявлена проблема с нашим провайдером, Google Cloud. Бесплатные веб-сервисы: сборки / развертывания и развертывание были временно отключены, пока мы работаем над смягчением проблемы.

3. 20 августа 2026 г. в 17:27 UTCmonitoring

   Мы наблюдаем восстановление для строительства и развертывания во всех регионах. Создания, развертывания и создание бесплатных веб-сервисов были возобновлены. Некоторые клиенты могут продолжать видеть повышенную задержку во время восстановления. Мы продолжаем следить.

4. 20 августа 2026 г. в 17:45 UTCmonitoring

   Мы наблюдаем полное восстановление. Мы продолжаем следить за любыми дальнейшими вопросами.

5. 20 августа 2026 г. в 19:40 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 27 июля 2026 г. в 14:43 UTCinvestigating

   Запросы через приборную панель могут быть медленнее, чем обычно. В настоящее время мы расследуем этот вопрос.

2. 27 июля 2026 г. в 17:59 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 27 июля 2026 г. в 18:27 UTCinvestigating

   REST API также испытывает ухудшение производительности. В результате, запросы к нему могут испытывать тайм-ауты, и вам может потребоваться повторный запрос. Мы продолжаем расследование.

4. 27 июля 2026 г. в 20:18 UTCmonitoring

   Мы внедрили исправление и следим за результатами. Причины неудачи развертывания будут временно недоступны. События сбоев в развертывании все равно будут генерироваться. Мы предоставим обновление после повторного включения причин отказа развертывания.

5. 27 июля 2026 г. в 23:58 UTCmonitoring

   После наших исправлений никаких дальнейших проблем не наблюдалось. Dashboard и REST API остаются полностью работоспособными. Причины неудачи развертывания по-прежнему отключены. Мы обновим этот инцидент, как только они будут восстановлены. Дальнейших обновлений на сегодня не ожидается (2026-07-27, UTC-7).

6. 28 июля 2026 г. в 19:35 UTCresolved

   Мы по-прежнему не наблюдаем никаких дальнейших проблем, и причины неудач развертывания были восстановлены.

Автоматический перевод официального обновления инцидента.

1. 24 июля 2026 г. в 11:16 UTCinvestigating

   Мы расследуем вопрос инфраструктуры, затрагивающий услуги, размещенные в нашем регионе Орегон. Некоторые услуги могут быть недоступными или испытывать неисправные запросы. Наша инженерная команда активно работает над выявлением причины и восстановлением нормальной работы.

2. 24 июля 2026 г. в 11:27 UTCmonitoring

   Мы наблюдали восстановление во всех службах и сейчас следим за ситуацией.

3. 24 июля 2026 г. в 11:44 UTCmonitoring

   Мы считаем, что проблема была вызвана поставщиком услуг. Мы продолжаем следить за ситуацией.

4. 24 июля 2026 г. в 13:30 UTCresolved

   Сейчас этот инцидент урегулирован.

Автоматический перевод официального обновления инцидента.

1. 20 июля 2026 г. в 00:41 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 20 июля 2026 г. в 00:55 UTCidentified

   GitHub продолжает сообщать об отключении, https://www.githubstatus.com. Это приводит к сбоям аутентификации при попытке развертывания из репозитория GitHub.

3. 20 июля 2026 г. в 01:54 UTCmonitoring

   Сейчас мы наблюдаем восстановление уровня отказов в сборке. Мы продолжаем следить за этим вопросом.

4. 20 июля 2026 г. в 02:11 UTCresolved

   Показатели отказов зданий восстановились. Разрешение.

Автоматический перевод официального обновления инцидента.

1. 19 июля 2026 г. в 03:44 UTCinvestigating

   Мы получили повышенное количество сообщений о сбоях клона глотки, что привело к ошибке 403, прервав развертывание. Мы проводим расследование.

2. 19 июля 2026 г. в 03:55 UTCidentified

   Службы, которые не развернуты, развернуты во Франкфурте. Запуск служб не затрагивается, только процесс развертывания терпит неудачу. Мы все еще работаем над тем, чтобы определить причину этой ошибки для этих служб.

3. 19 июля 2026 г. в 05:57 UTCidentified

   Пользователи служб, размещенных во Франкфурте, которые полагаются на репозитории GitHub для развертывания, продолжают видеть 403 ошибки в своих журналах. Мы продолжаем работать над этим вопросом в наших собственных системах и обратились к GitHub.

4. 19 июля 2026 г. в 08:29 UTCidentified

   Мы продолжаем работать над смягчением этой проблемы, а также работаем с GitHub для устранения этих сбоев в развертывании.

5. 19 июля 2026 г. в 09:10 UTCmonitoring

   Развертывания последовательно завершаются примерно с 08:40 и возвращаются к нормальному уровню. Мы отслеживаем любые другие воздействия.

6. 19 июля 2026 г. в 09:20 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 16 июля 2026 г. в 22:42 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 16 июля 2026 г. в 22:42 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 16 июля 2026 г. в 23:09 UTCidentified

   GitHub обновил свою страницу статуса, чтобы сообщить о ухудшении доступности REST API: https://www.githubstatus.com/incidents/gxycch3076xk

4. 17 июля 2026 г. в 00:13 UTCmonitoring

   GitHub сообщает, что они смягчили свой инцидент и ведут мониторинг для обеспечения стабильности.

5. 17 июля 2026 г. в 00:14 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 15 июля 2026 г. в 21:50 UTCinvestigating

   Некоторые пользователи, зарегистрированные в 2FA, сообщают о петлях входа при попытке получить доступ к панели инструментов Render. Мы расследуем.

2. 15 июля 2026 г. в 21:55 UTCidentified

   Этот вопрос был определен, и в настоящее время осуществляется исправление.

3. 15 июля 2026 г. в 22:06 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

4. 15 июля 2026 г. в 22:56 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.