История сбоев Launchdarkly

1. 26 октября 2026 г. в 20:52 UTCresolved

   Точка перегиба масштабирования в нашем хранилище событий в реальном времени привела к задержке приема некоторых событий. Инженерная команда устранила проблему, и все события должны быть улажены. Некоторые клиенты, возможно, видели задержки в экспериментах и в защищенной обработке выпуска. Сейчас это решено и команда будет внимательно следить.

Автоматический перевод официального обновления инцидента.

1. 15 октября 2026 г. в 15:47 UTCresolved

   Между 15:11 и 15:32 UTC сегодня мы наблюдали повышенные ошибки 5xx, влияющие на запросы в наших сервисах. Примерно 0,7% запросов за этот период не увенчались успехом (99,3%). Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 3 октября 2026 г. в 07:29 UTCidentified

   Некоторые автоматические изменения в LaunchDarkly применяются позже, чем ожидалось. Это влияет на переходы стадий для охраняемых и прогрессивных развертываний, прогрессирование фазы выпуска трубопровода и перераспределение трафика с несколькими вооруженными бандитами. Задержки начались примерно в 4:15 вечера 2 октября 2026 года. Прогрессивные развертывания и эксперименты остаются на текущем этапе и распределение трафика; ничего не было продвинуто, возвращено или остановлено неправильно. Данные не теряются. Отложенные изменения остаются в очереди и вступят в силу, как только обработка догонит.

2. 3 октября 2026 г. в 08:51 UTCmonitoring

   Отставание от отложенных изменений было полностью обработано по состоянию на 1:45 утра 3 октября. Все изменения, которые были отложены во время инцидента, были применены. Никаких данных не было потеряно. Мы продолжаем следить.

3. 3 октября 2026 г. в 09:06 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 2 октября 2026 г. в 14:10 UTCidentified

   Мы изучаем повышенные показатели ошибок, влияющие на веб-приложение LaunchDarkly и API. Некоторые запросы могут потерпеть неудачу или периодически прерываться, включая управление пользовательскими ролями. Мы поделимся обновлением, как мы узнаем больше.

2. 2 октября 2026 г. в 17:29 UTCidentified

   Опознан. Мы определили причину повышенной частоты ошибок и работаем над исправлением. Клиенты по-прежнему не могут перечислять, искать или назначать пользовательские роли; существующие роли продолжают исполняться. Большинство других функций работают нормально, хотя некоторые запросы могут периодически выходить из строя. Мы поделимся еще одним обновлением по мере восстановления.

3. 3 октября 2026 г. в 01:26 UTCmonitoring

   Мониторинг. Мы применили исправление, и показатели ошибок вернулись к норме, включая пользовательский список ролей, поиск и назначение. Мы продолжаем следить, пока завершаем восстановительные работы.

4. 3 октября 2026 г. в 09:05 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 26 августа 2026 г. в 19:45 UTCmonitoring

   Потоковые запросы на стороне сервера имели повышенный уровень ошибок между примерно 12:00 вечера и 12:12 вечера PDT, и некоторые SDK, устанавливающие новые потоковые соединения, возможно, не могли подключиться. Показатели ошибок в опросах оставались ниже 1% на протяжении всего инцидента. Данные клиентов не были потеряны или скомпрометированы. Мы приносим извинения за срыв.

2. 26 августа 2026 г. в 20:00 UTCresolved

   Этот инцидент был урегулирован. В период с 12:00 до 12:12 вечера 26 августа серверные SDK, устанавливающие новые потоковые соединения, имели повышенные показатели ошибок. Существующие потоковые соединения не были затронуты, и запросы на опросы продолжали обслуживаться с частотой ошибок ниже 1%. В некоторых запросах на веб-приложение LaunchDarkly также наблюдались повышенные ошибки между примерно 11:29 утра и 12:03 вечера PDT. Проблема была вызвана внутренним изменением конфигурации, которое было возвращено. Все системы восстановлены и работают нормально. Данные клиентов не были потеряны или скомпрометированы.

Автоматический перевод официального обновления инцидента.

1. 24 августа 2026 г. в 12:20 UTCidentified

   Электронные письма, отправленные LaunchDarkly, включая проверку регистрации, сброс пароля, приглашение партнера по команде и электронные письма с уведомлением о рабочем процессе, в настоящее время не доставляются из-за проблемы аутентификации с поставщиком доставки электронной почты. Мы определили причину и работаем над восстановлением доставки. Доставка флага функции, SDK и само приложение LaunchDarkly не затронуты. Если вы пытаетесь завершить регистрацию или сбросить пароль, эти электронные письма не поступят, пока это не будет решено. Как только доставка будет восстановлена, мы повторно отправим затронутую проверку и сброс пароля по электронной почте. Следующее обновление в течение 2 часов.

2. 24 августа 2026 г. в 13:36 UTCresolved

   Доставка электронной почты была восстановлена по состоянию на 2:32 PM UTC. Проверка регистрации, сброс пароля, приглашение партнера по команде и электронные письма с уведомлениями обычно снова отправляются. Мы повторно отправляем электронные письма с проверкой регистрации и сбросом пароля, которые не были доставлены во время окна инцидента (22 августа, 11:48 вечера по сегодняшний день). Если вы попытались зарегистрироваться или сбросить пароль в течение этого периода и не получили электронное письмо в течение следующих нескольких часов, пожалуйста, повторите действие или свяжитесь с службой поддержки. Мы продолжаем внимательно следить за доставкой электронной почты и опубликуем окончательное обновление, как только подтвердим устойчивое восстановление.

Автоматический перевод официального обновления инцидента.

1. 17 августа 2026 г. в 10:36 UTCinvestigating

   Мы переживаем деградацию сервиса, которая может привести к задержке обновлений Flag через Polling API.

2. 17 августа 2026 г. в 15:29 UTCmonitoring

   Мы определили первопричину, у нашего поставщика CDN была проблема с их окончанием, которая теперь исправлена. Мониторинг в течение некоторого времени, чтобы убедиться, что ситуация стабилизируется.

3. 17 августа 2026 г. в 16:03 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 14 августа 2026 г. в 14:47 UTCinvestigating

   Flag Updates are currently delayed in the us-east-1 region. We are investigating the issue.

2. 14 августа 2026 г. в 16:05 UTCmonitoring

   We investigated elevated error rates reported for mobile SDK flag delivery in US East. We've confirmed that flag delivery itself was not impacted. No customer action is required and we are monitoring the situation.

3. 14 августа 2026 г. в 16:47 UTCresolved

   The issue is being marked as resolved. We're seeing improved latencies and our systems have recovered.

1. 7 августа 2026 г. в 19:29 UTCinvestigating

   We are investigating elevated HTTP 500 errors affecting some server-side SDK streaming connections in our US commercial environment. Affected applications may fail to establish or may intermittently lose their streaming connection to LaunchDarkly.

2. 7 августа 2026 г. в 19:56 UTCinvestigating

   We released several mitigations and we're noticing that error rates are dropping. We'll continue to monitor the situation.

3. 7 августа 2026 г. в 20:12 UTCinvestigating

   We are continuing to investigate this issue.

4. 7 августа 2026 г. в 20:15 UTCresolved

   SDKs restored to operational

Автоматический перевод официального обновления инцидента.

1. 31 июля 2026 г. в 17:44 UTCinvestigating

   Все клиенты испытывают недостающие следы наблюдения, начиная с 30 июля в 5:16 вечера по восточному времени. Мы изучаем и будем предоставлять обновления по мере их поступления. Данные отслеживания не теряются, и мы работаем над их восстановлением.

2. 31 июля 2026 г. в 17:59 UTCidentified

   Клиенты испытывают недостающие Следы Наблюдаемости, проглоченные с 30 июля 5:16 вечера до 31 июля 10:59 утра PT. Мы определили проблему и продолжаем работу по восстановлению недостающих данных.

3. 31 июля 2026 г. в 21:58 UTCmonitoring

   Выявлена проблема с следами наблюдения и осуществлено исправление. Мы восстановили большинство следовых данных, которые отсутствовали с 30 июля 5:16 до 31 июля 10:59 PT. Мы устраним инцидент, как только мы полностью завершим восстановление данных (ожидается, что это произойдет к 5 вечера по восточному времени).

4. 31 июля 2026 г. в 22:54 UTCresolved

   Вопрос с следами наблюдения решен. Пропавшие следы были восстановлены.

Автоматический перевод официального обновления инцидента.

1. 28 июля 2026 г. в 19:24 UTCidentified

   Клиенты испытывают задержку повторения сеанса и ошибку, поступившую в 11:03 PT. Мы определили этот вопрос и продолжаем работу по его решению. Потеря данных не ожидается.

2. 28 июля 2026 г. в 19:41 UTCmonitoring

   Была выявлена проблема с повторением сеанса и ошибками, и было реализовано исправление. Мы ожидаем догнать все загруженные данные за 15 минут. Никаких данных не было потеряно.

3. 28 июля 2026 г. в 20:04 UTCresolved

   Проблема с повторением сеанса и ошибками была решена. Мы подобрали все данные по состоянию на 1:01 вечера.

Автоматический перевод официального обновления инцидента.

1. 26 июля 2026 г. в 19:09 UTCresolved

   Между 11:32 и 11:48 клиенты испытывали повышенную задержку и повышенную частоту ошибок на конечных точках API. Частота задержек и ошибок вернулась к норме, и инцидент был устранен.

Автоматический перевод официального обновления инцидента.

1. 10 июля 2026 г. в 17:10 UTCinvestigating

   Веб-приложение LaunchDarkly (app.launchdarkly.com) было недоступно и сейчас активно восстанавливается. Сеть доставки флага также пострадала, что привело к повышению частоты отказов с извлечением значений флага. Клиенты, использующие SDK на стороне клиента или сервера, должны продолжать видеть последние известные значения флага, если существует локальный кэш, или вернуться к значениям в коде. Клиенты, использующие наш Relay Proxy, должны продолжать видеть последние известные значения флага, если существует локальный кэш. Клиенты, использующие наши SDK, должны продолжать видеть последние известные значения флага. Возможно, произошла некоторая потеря данных.

2. 10 июля 2026 г. в 17:12 UTCidentified

   Мы определили первопричину и реализуем исправление.

3. 10 июля 2026 г. в 17:40 UTCidentified

   Доступность веб-приложений восстановилась. Доставка флага и проглатывание событий продолжают влиять и активно восстанавливаются. Наша инженерная команда продолжает работу по восстановлению.

4. 10 июля 2026 г. в 17:54 UTCmonitoring

   Возобновлено воздействие производственного сервиса. Тем не менее, клиентам может потребоваться перезагрузить свои приложения, чтобы полностью подключиться к сервисам LaunchDarkly. Наша инженерная команда работает над руководством, которое может быть предоставлено клиентам.

5. 10 июля 2026 г. в 18:19 UTCresolved

   Вся доступность сервиса полностью восстановлена. Клиентам, использующим серверные SDK, возможно, потребуется перезагрузить свои приложения, чтобы повторно включить соединение SDK с LaunchDarkly. Клиентам, использующим Relay Proxy, также может потребоваться перезагрузить свой Relay Proxy; в этом случае Relay Proxy следует перезагрузить перед перезагрузкой своих приложений, которые подключаются к нему. Чтобы определить, нужно ли перезапускать приложение, клиенты могут посмотреть журналы приложений. Пострадавшие SDK будут издавать (в зависимости от языка) журналы, содержащие один из «отказа навсегда», «недействительный ключ SDK», «несанкционированный» или «несанкционированный» или «401». Службы, которые испускают такие журналы до 9:13 утра PT, могут быть не в состоянии получать обновления флага и не смогут отправлять события в LaunchDarkly до их перезапуска.

Автоматический перевод официального обновления инцидента.

1. 10 июля 2026 г. в 16:16 UTCinvestigating

   В настоящее время мы расследуем этот вопрос

2. 10 июля 2026 г. в 16:17 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 10 июля 2026 г. в 16:26 UTCidentified

   Вопрос был определен, и исправление было осуществлено

4. 10 июля 2026 г. в 17:43 UTCidentified

   Мы продолжаем работать над решением этой проблемы.

5. 10 июля 2026 г. в 17:48 UTCresolved

   LaunchDarkly UI восстановился Мы будем продолжать следить за доставкой флага и событиями, происходящими здесь: https://status.launchdarkly.com/incidents/chywwz01ptb0.

Автоматический перевод официального обновления инцидента.

1. 10 июля 2026 г. в 19:21 UTCinvestigating

   Мы расследуем продолжающееся воздействие на мобильный и серверный SDK клиентов, вызванное предыдущим инцидентом (https://status.launchdarkly.com/incidents/chywwz01ptb0). Если клиенты получают SDK или Relay Proxy 401s, пожалуйста, восстановите соединения.

2. 10 июля 2026 г. в 20:18 UTCmonitoring

   Наши службы доставки флага восстановились, и мы наблюдаем увеличение трафика клиентов, успешно восстанавливающих соединения с нашими потоковыми сервисами. Клиентам, которые продолжают сталкиваться с 401 ошибкой подключения в своих экземплярах SDK или Relay Proxy, рекомендуется перезапустить свои приложения и / или экземпляры Relay Proxy.

3. 10 июля 2026 г. в 23:32 UTCmonitoring

   Клиенты продолжают успешно восстанавливать соединения с нашими потоковыми сервисами. Мы рекомендуем просматривать журналы приложений для окна инцидента. Пострадавшие SDK издают сообщения, изменяющиеся по языку, которые содержат любое из следующего: «отказ навсегда», «недействительный ключ SDK», «несанкционированный», «несанкционированный» или «401». Любая служба, которая зарегистрировала эти сообщения, может быть не в состоянии получать обновления флага или отправлять данные о событиях до их перезапуска. Вот рекомендуемые действия для каждого пострадавшего приложения: Если вы используете серверные SDK, перезапустите приложение, чтобы восстановить его соединение с LaunchDarkly. Если восстановление соединения с серверной стороной SDK не работает, создайте и используйте второй ключ SDK. Если вы используете Relay Proxy, перезапустите Relay Proxy, чтобы восстановить соединения. Нет необходимости перезапускать приложения, стоящие за ним. Клиентские SDK будут автоматически подключаться при перезапуске. Если это не решит проблему для затронутого приложения (например, вы все еще видите сообщения журнала сверху), пожалуйста, зарегистрируйте билет поддержки, и мы свяжемся с вами напрямую, чтобы помочь с исправлением.

4. 11 июля 2026 г. в 02:00 UTCmonitoring

   Мы продолжаем отслеживать любые дальнейшие проблемы, см. наше предыдущее обновление для шагов по восстановлению.

5. 13 июля 2026 г. в 18:08 UTCmonitoring

   Все службы LaunchDarkly работают, хотя некоторые клиенты должны принять меры для восстановления своих подключений к нашей сети доставки флага. Клиенты продолжают успешно восстанавливать связи, завершая руководство по действию ниже, и мы продолжаем поддерживать клиентов, работающих через остаточное воздействие. Случаи SDK и Relay Proxy, которые пытались установить связь с LaunchDarkly 10 июля между 09:11 и 11:42 утра, были периодически затронуты. Это включает в себя ситуации, когда принимающая заявка была перезапущена или перераспределена в течение этого времени. Не были затронуты случаи SDK и Relay Proxy, которые не пытались установить соединение в течение этого времени. Мы рекомендуем просматривать журналы приложений для окна инцидента. Пострадавшие SDK издают сообщения, изменяющиеся по языку, которые содержат любое из следующего: «отказ навсегда», «недействительный ключ SDK», «несанкционированный», «несанкционированный» или «401». Любая служба, которая зарегистрировала эти сообщения, может быть не в состоянии получать обновления флага или отправлять данные о событиях до их перезапуска. Вот рекомендуемые действия для каждого пострадавшего приложения: Если вы используете Relay Proxy, перезапустите Relay Proxy, чтобы восстановить соединения. Не нужно перезагружать приложения, стоящие за ним, но мы рекомендуем просматривать журналы приложений, чтобы подтвердить необходимость перезапуска приложений. Если вы используете серверные SDK без Relay Proxy, перезапустите приложение, чтобы восстановить его соединение с LaunchDarkly. Клиентские и мобильные SDK будут автоматически подключаться, когда их приложения пытаются подключиться к LaunchDarkly при нормальных обстоятельствах, например, когда приложение загружается или устройство восстанавливает сетевое подключение. Если это не решит проблему для затронутого приложения (например, вы все еще видите сообщения журнала сверху), пожалуйста, зарегистрируйте билет поддержки, и мы свяжемся с вами напрямую, чтобы помочь с исправлением.

6. 29 июля 2026 г. в 18:15 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 8 июля 2026 г. в 18:03 UTCinvestigating

   В настоящее время мы изучаем проблему, когда эксперименты с использованием частотного анализа не могут быть сохранены или начаты.

2. 8 июля 2026 г. в 18:12 UTCidentified

   Мы определили проблему и работаем над тем, чтобы выпустить исправление.

3. 8 июля 2026 г. в 18:51 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

4. 8 июля 2026 г. в 19:41 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 7 июля 2026 г. в 15:10 UTCresolved

   Проглатывание событий работает нормально. Результаты экспериментов, охраняемые Выводы и диаграммы данных по продуктам задерживались ~ 5 минут между 7:13-7:53 утра по восточному времени. Никаких данных не было потеряно. Приносим извинения за любые неудобства.

Автоматический перевод официального обновления инцидента.

1. 6 июля 2026 г. в 20:52 UTCinvestigating

   13:21 Тихий океан Время, мы испытали большой объем оповещений об ошибках, влияющих на способность пользователей взаимодействовать с приложением LaunchDarkly, включая вход в систему и отзывчивость UI / API. Мы быстро определили первопричину, связанную с доставкой флага. Сейчас мы ожидаем снижения количества ошибок.

2. 6 июля 2026 г. в 21:08 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 6 июля 2026 г. в 21:09 UTCmonitoring

   Мы запустили исправление, и показатели ошибок возвращаются к норме

4. 6 июля 2026 г. в 21:21 UTCresolved

   Все ошибки нормализовались.

Автоматический перевод официального обновления инцидента.

1. 6 июля 2026 г. в 14:33 UTCinvestigating

   Некоторые клиенты не получают электронные письма для проверки учетной записи. Наша команда активно работает над смягчением этой проблемы.

2. 6 июля 2026 г. в 14:45 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

3. 6 июля 2026 г. в 15:52 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 3 июля 2026 г. в 14:29 UTCinvestigating

   Мы изучаем повышенные показатели ошибок на конечных точках приема данных о событиях, влияющих на производственных клиентов, примерно между 7:00 утра PDT и 7:15 утра PDT. Во время этого окна часть флага функций, экспериментов и данных о событиях ИИ/агента может быть отклонена или отложена. Доставка и оценка флага не затрагиваются. Флаги SDK используются в обычном режиме. Наблюдение не влияет.

2. 3 июля 2026 г. в 15:13 UTCmonitoring

   Реализовано исправление, и мы отслеживаем результаты.

3. 3 июля 2026 г. в 16:06 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.