История сбоев Flyio

1. 2 сентября 2026 г. в 23:03 UTCinvestigating

   Мы знаем о проблеме, затрагивающей подмножество пользователей Sprites. Мы расследуем источник проблемы.

2. 2 сентября 2026 г. в 23:33 UTCmonitoring

   Уровень ошибок снизился. Мы продолжаем следить за состоянием API.

3. 3 сентября 2026 г. в 00:41 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 2 сентября 2026 г. в 14:18 UTCidentified

   Мы наблюдали проблему восходящей сети в LAX. Подключение к некоторым пунктам назначения может привести к повышенной задержке и потере пакетов. Мы работаем с нашим восходящим потоком, чтобы решить эту проблему.

2. 2 сентября 2026 г. в 14:48 UTCidentified

   Мы ввели некоторые временные смягчения вместе с нашими поставщиками. Однако, поскольку основная причина этой проблемы лежит в более крупном поставщике транзита вверх по течению, вы можете продолжать видеть некоторые проблемы с задержкой и подключением в пострадавших регионах. Мы все еще тесно сотрудничаем с ними, чтобы устранить первопричину.

3. 2 сентября 2026 г. в 14:56 UTCidentified

   Мы обновляем список пострадавших регионов, чтобы также включить SJC, поскольку это, похоже, более широкая проблема на западном побережье США.

4. 2 сентября 2026 г. в 15:33 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

5. 2 сентября 2026 г. в 15:57 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 2 сентября 2026 г. в 07:21 UTCinvestigating

   Мы расследуем проблему с фоновым кандидатом на работу для нашего API. Действия, требующие фоновой работы, такие как создание приложений, назначение IP-адресов или создание / обновление сертификатов, могут в это время потерпеть неудачу.

2. 2 сентября 2026 г. в 07:31 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

3. 2 сентября 2026 г. в 07:44 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 31 августа 2026 г. в 15:42 UTCresolved

   Обновление конфигурации вызвало временные сбои для входящего трафика HTTP/2 для Fly Machines, расположенного на подмножестве хостов в течение нескольких минут. С тех пор этот инцидент был урегулирован. Управляемый Postgres зависит от HTTP/2, и некоторые операции с плоскостью управления также могут быть затронуты. Однако нисходящие соединения Postgres вряд ли были затронуты этим, поскольку они не используют обработчик HTTP2.

Автоматический перевод официального обновления инцидента.

1. 31 августа 2026 г. в 06:26 UTCinvestigating

   Из-за вышестоящего провайдера мы видим потерю пакетов ~ 50% на подмножестве хостов в ORD. Некоторые кластеры MPG в ORD медленно воспроизводятся.

2. 31 августа 2026 г. в 07:39 UTCmonitoring

   Пакетные потери в ОРД улучшаются, а затронутые сервисы восстанавливаются; мы продолжаем следить за периодическими проблемами

3. 31 августа 2026 г. в 08:10 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 30 августа 2026 г. в 22:45 UTCresolved

   Мы видели, как работа по удалению Sprite терпела неудачу между 21:18 и 22:05 UTC. Этот вопрос решен.

Автоматический перевод официального обновления инцидента.

1. 28 августа 2026 г. в 21:56 UTCinvestigating

   Мы изучаем сетевые проблемы, затрагивающие некоторых хостов в регионе ГРУ (Сан-Паулу, Бразилия). Некоторые приложения в GRU могут испытывать повышенную задержку или потерю пакетов.

2. 28 августа 2026 г. в 22:00 UTCmonitoring

   Производительность сетей в ГРУ нормализовалась, и мы больше не видим проблем. Мы продолжаем следить за тем, чтобы обеспечить полное восстановление.

3. 28 августа 2026 г. в 22:12 UTCidentified

   В ГРУ мы наблюдаем повторение сетевых проблем. Некоторые приложения в регионе могут испытывать повышенную задержку или потерю пакетов. Мы работаем с нашим сетевым провайдером, чтобы решить эту проблему.

4. 28 августа 2026 г. в 22:36 UTCidentified

   Наш провайдер upstream внедрил исправление. Производительность сети в ГРУ нормализовалась.

5. 28 августа 2026 г. в 22:36 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 28 августа 2026 г. в 08:09 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 28 августа 2026 г. в 10:22 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 26 августа 2026 г. в 18:14 UTCinvestigating

   Мы расследуем проблемы с нашими шлюзами WireGuard. Некоторые команды CLI, такие как «flyctl ssh» или «flyctl proxy», могут не работать в это время. Приложения продолжают работать.

2. 26 августа 2026 г. в 18:27 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

3. 26 августа 2026 г. в 18:33 UTCmonitoring

   Наше тестирование и мониторинг показывают, что шлюзы должны вернуться к норме; если у вас все еще есть проблемы с использованием консоли Flyctl ssh, попробуйте перезагрузить агент Flyctl.

4. 26 августа 2026 г. в 18:43 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 24 августа 2026 г. в 10:23 UTCinvestigating

   В настоящее время мы испытываем некоторое отставание по показателям на серверах в некоторых регионах. Мы предоставляем больше экземпляров метрической обработки, чтобы учесть отставание и догнать.

2. 24 августа 2026 г. в 12:47 UTCmonitoring

   Все хосты догнали показатели, и мы следим за ситуацией

3. 24 августа 2026 г. в 13:24 UTCresolved

   Теперь это решено

Автоматический перевод официального обновления инцидента.

1. 23 августа 2026 г. в 01:28 UTCinvestigating

   Мы расследуем сетевые проблемы в регионе Лос-Анджелеса. Приложения могут испытывать более высокую задержку или быть недоступными в это время.

2. 23 августа 2026 г. в 02:04 UTCmonitoring

   Проблемы с сетью Upstream решены.

3. 23 августа 2026 г. в 02:10 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 20 августа 2026 г. в 20:07 UTCresolved

   Ошибка конфигурации BGP привела к тому, что наш Anycast DNS направился в некоторые узлы без надлежащей инфраструктуры DNS. Проблема была временной и была решена, как только мы удалили этот узел из BGP.

Автоматический перевод официального обновления инцидента.

1. 20 августа 2026 г. в 13:54 UTCidentified

   Мы выявили проблему, вызывающую ошибки аутентификации для некоторых операций из Flyctl. Эти операции терпят неудачу с ошибкой, такой как: «Эта конечная точка больше не принимает устаревшие токены OAuth (начиная с «fo1 »). Вместо этого используйте токен макаруна (начиная с «fm2 »). Мы определили проблему и выкатываем исправление

2. 20 августа 2026 г. в 14:05 UTCmonitoring

   Было установлено исправление, и эта ошибка больше не должна происходить. Мы следим за полным восстановлением.

3. 20 августа 2026 г. в 14:16 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 20 августа 2026 г. в 07:25 UTCinvestigating

   У нас была проблема с кластером Ord-0 Fly Kubernetes, и многие кластеры MPG не перезапускаются. Наша команда МПГ активно работает над этим.

2. 20 августа 2026 г. в 07:26 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 20 августа 2026 г. в 07:32 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

4. 20 августа 2026 г. в 07:57 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 19 августа 2026 г. в 01:15 UTCresolved

   Сетевые проблемы 6PN между некоторыми машинами в YYZ во время развертывания, которое было отменено после того, как мы заметили ошибки. В течение этого времени некоторые машины не могли общаться с внутренними ресурсами, такими как другие DB, другие приложения или кластеры MPG.

Автоматический перевод официального обновления инцидента.

1. 17 августа 2026 г. в 13:19 UTCinvestigating

   Новые машины могут не создаваться в ARN, потому что нам не хватает мощности.

2. 17 августа 2026 г. в 15:41 UTCresolved

   Вопрос о потенциале в регионе АРН решен.

Автоматический перевод официального обновления инцидента.

1. 14 августа 2026 г. в 19:30 UTCidentified

   Мы работаем над восстановлением нашей секретной службы после неудачного развертывания. Приложения продолжают работать, но в настоящее время невозможно создавать новые приложения или обновлять секреты.

2. 14 августа 2026 г. в 20:08 UTCmonitoring

   We have failed over the secrets database to a replica, and the Machines API appears healthy now. We are monitoring for any further issues.

3. 14 августа 2026 г. в 20:33 UTCresolved

   This incident has been resolved.

Автоматический перевод официального обновления инцидента.

1. 13 августа 2026 г. в 17:45 UTCinvestigating

   We are currently investigating degraded ipv6 networking on a subset of hosts

2. 13 августа 2026 г. в 17:51 UTCinvestigating

   We are continuing to investigate this issue.

3. 13 августа 2026 г. в 18:14 UTCidentified

   The issue has been identified and a fix is being implemented.

4. 13 августа 2026 г. в 18:36 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

5. 13 августа 2026 г. в 18:37 UTCmonitoring

   We are continuing to monitor for any further issues.

6. 13 августа 2026 г. в 19:41 UTCresolved

   This incident has been resolved.

1. 9 августа 2026 г. в 02:50 UTCinvestigating

   We are currently investigating app-not-found errors returned by Machines API calls made shortly after creating new applications.

2. 9 августа 2026 г. в 03:50 UTCidentified

   We have identified the issue as failed insertions in a subset of Corrosion batches. These failures trigger retries, which can cause timeouts for other batches.

3. 9 августа 2026 г. в 04:58 UTCidentified

   We’ve applied a mitigation to reduce the impact from Corrosion batch insertion retries and are continuing to monitor while affected nodes catch up.

4. 9 августа 2026 г. в 06:03 UTCidentified

   We’ve deployed an additional mitigation to further reduce Corrosion retry pressure and are seeing improvement; we’re continuing to monitor while remaining affected nodes catch up.

5. 9 августа 2026 г. в 06:42 UTCmonitoring

   A fix has been implemented and we are monitoring the results

6. 9 августа 2026 г. в 07:10 UTCresolved

   This incident has been resolved.

1. 5 августа 2026 г. в 20:26 UTCidentified

   High CPU pressure on a shared etcd instance is causing lags on MPG creation in the IAD region

2. 5 августа 2026 г. в 20:41 UTCresolved

   Etcd is stable. Services are back to normal.