39 Better Uptime incidents · февраль 2023 г. — official updates, affected components, duration and resolution details.
Телеметрическая панель может быть недоступна для некоторых клиентов из-за проблемы с базой данных.
Вопрос был решен, мы приносим извинения за неудобство, пожалуйста, дайте нам знать, если мы можем помочь с чем-либо на [email protected].
Автоматический перевод официального обновления инцидента.
We'll be migrating some Telemetry sources to new, more robust infrastructure. Each source will be affected for no more than 90 minutes. During the migration there may be brief gaps in dashboard charts and delayed Live tail data. Queries through the SQL Connections API may briefly return an error rather than incomplete results. Please reach out to us at [email protected] if you have any questions.
В настоящее время мы испытываем некоторые проблемы с изменением конфигурации источников телеметрии и созданием новых источников. Запросы и прием внутрь не затрагиваются. Мы проводим расследование.
Теперь эта проблема решена, все обновления источника и конфигурации должны распространяться, как и ожидалось.
Автоматический перевод официального обновления инцидента.
В настоящее время мы испытываем сбои в нашей инфраструктуре пересылки AWS Direct Connect, что может привести к задержкам или сбоям в проглатывании данных.
Проблема сети, вызвавшая эту проблему, решена.
Автоматический перевод официального обновления инцидента.
В настоящее время мы сталкиваемся с проблемой инфраструктуры, которая влияет на некоторые запросы клиентов в нашем регионе Европы.
Вопрос инфраструктуры решен.
Автоматический перевод официального обновления инцидента.
В настоящее время мы изучаем некоторые временные ошибки, которые влияют на производительность нашей платформы Uptime. Мы очень сожалеем о неудобствах.
Мы решили проблему ухудшения производительности Uptime.
Автоматический перевод официального обновления инцидента.
Мы смягчаем ситуацию. Нужна помощь? Дайте нам знать на [email protected]
Атака была успешно смягчена нашей защитой от DDoS. Искренние извинения за неудобства. Нужна помощь? Дайте нам знать на [email protected].
Автоматический перевод официального обновления инцидента.
Bunny CDN, один из наших поставщиков CDN, испытывает программную ошибку в своем PoP, расположенном в Великобритании. Мы находимся в контакте с ними, и вопрос должен быть решен в течение нескольких минут. Приносим извинения за неудобства. Если вам срочно нужно использовать панель инструментов, пожалуйста, используйте VPN для подключения к любому месту в США. Спасибо.
Bunny CDN решил эту проблему. Приносим извинения за неудобства.
Автоматический перевод официального обновления инцидента.
В настоящее время мы наблюдаем задержку обработки данных для некоторых источников, расположенных в нашем кластере на востоке США. Основная первопричина была устранена; однако может потребоваться некоторое время, чтобы все исторические данные полностью появились в живом хвосте. Обратите внимание, что нет потери данных - все входящие данные проглатываются и становятся видимыми, когда система догоняет. Если у вас есть какие-либо вопросы, не стесняйтесь обращаться по адресу ** [[email protected]] (mailto:[email protected])**.
Более ранняя задержка, затрагивающая некоторые источники в нашем Восточном кластере США, была полностью решена. Все данные в настоящее время обрабатываются и видны в Live tail, без потери данных. Если у вас есть какие-либо вопросы, пожалуйста, свяжитесь с нами по адресу ** [[email protected]] (mailto:[email protected])**.
Автоматический перевод официального обновления инцидента.
В настоящее время мы наблюдаем повышенную задержку запросов и временные сбои в нашем кластере eu-nbg-2. Входящие данные поступают внутрь, но обработка может быть отложена для некоторых источников, а некоторые запросы могут также потерпеть неудачу или вернуть неполные результаты. Наша инженерная команда активно работает над этим, и отставание уже сокращается, и мы ожидаем полного восстановления в ближайшее время. Мы будем обновлять эту страницу, как только у нас будет больше обновлений.
Вопросы запросов в eu-nbg-2 в настоящее время в основном решены. Отставание в приеме внутрь также полностью настигло примерно в то же время, и данные обрабатываются, как и ожидалось. Мы продолжаем внимательно следить за кластером и пересматриваем трубопровод, чтобы убедиться, что все стабильно и работает нормально. Большое спасибо за ваше терпение и дайте нам знать на '[email protected]', если что!
Автоматический перевод официального обновления инцидента.
В настоящее время мы сталкиваемся с проблемой, когда пользовательский интерфейс Better Stack временно недоступен. Наши бэкэнд-сервисы, инфраструктура мониторинга, API и оповещения полностью работоспособны, однако Cloudflare переживает глобальное отключение, которое влияет на маршрутизацию и предотвращает загрузку нашей приборной панели. Отследить инцидент можно здесь: https://www.cloudflarestatus.com/incidents/8gmgl950y3h7 Мы активно отслеживаем ситуацию и восстановим полный доступ, как только Cloudflare решит проблемы с маршрутизацией. Все основные функции — проверки, сердцебиение, оповещения, проглатывание журналов и показатели — продолжают нормально функционировать в фоновом режиме. Спасибо за терпение. 🙂
Пользовательский интерфейс Better Stack теперь в основном снова доступен, и многие пользователи должны иметь возможность нормально загружать панель инструментов. Глобальное отключение Cloudflare все еще продолжается, и хотя их сеть стала более стабильной, проблемы с маршрутизацией могут продолжаться. Это означает, что вы все еще можете видеть случайную медленную загрузку или повышенные показатели ошибок по мере восстановления ситуации. Мы продолжаем следить за инцидентом и будем делиться дальнейшими обновлениями, поскольку Cloudflare стабилизирует их системы.
Cloudflare в основном решила основные проблемы маршрутизации, связанные с их глобальным отключением, и их системы теперь работают нормально. Благодаря стабилизации сети интерфейс Better Stack и все связанные с ним сервисы снова полностью доступны. Все на нашей стороне работает, как и ожидалось, и мы больше не видим повышенных показателей ошибок или ухудшения производительности. Мы продолжим следить за ситуацией, но дальнейших последствий не ожидается. Если у вас есть какие-либо вопросы или вы заметили что-то необычное, пожалуйста, не стесняйтесь обращаться к нам по адресу [email protected] — мы рады помочь. Спасибо за ваше терпение на протяжении всего инцидента
Автоматический перевод официального обновления инцидента.
В настоящее время мы видим периодические проблемы с тайм-аутом, влияющие на некоторые пользовательские страницы статуса. Первые ошибки начинают появляться примерно в 1:55 вечера по Гринвичу, при этом некоторые запросы не дают ответа в нескольких регионах. Мы изучаем это сейчас и вскоре поделимся еще одним обновлением.
Теперь вопросы тайм-аута решены. Мы применяем смягчения около 2:15 вечера UTC, и страницы с затронутым статусом снова начинают нормально реагировать. Большое спасибо за ваше терпение, пока мы работаем над этим.
После более ранней проблемы тайм-аута мы видим, что небольшое подмножество пользовательских страниц статуса не полностью восстановилось после первоначального исправления в 2:15 вечера UTC. Некоторые из этих страниц в настоящее время сталкиваются с ошибками, связанными с SSL, такими как сбои проверки сертификата или тайм-ауты, из-за того, что внутренний компонент ведет себя неправильно после более раннего сбоя. Мы продолжаем расследование и будем делиться новыми обновлениями, как только они появятся.
Мы решили проблему, которая привела к тому, что некоторые пользовательские страницы статуса не загружались или возвращались с ошибками. Проблема была связана с процессом обработки сертификатов, что временно мешало определенным страницам получать или обновлять свои SSL-сертификаты. Все затронутые страницы теперь загружаются нормально. Большое спасибо за ваше терпение и понимание. Пожалуйста, сообщите нам по адресу [email protected], если у вас возникнут дополнительные вопросы.
Автоматический перевод официального обновления инцидента.
Мы видим повышенный уровень ошибок в нашей службе доставки электронной почты из-за продолжающегося отключения AWS. В результате некоторые уведомления могут быть отложены. Мониторинг времени и обработка данных полностью работоспособны.
Доставка электронной почты возвращается к норме.
Автоматический перевод официального обновления инцидента.
В настоящее время мы испытываем отключение сети в центре обработки данных нашего провайдера, которое влияет на часть запросов и вызывает задержки при приеме данных. Наша команда активно работает с провайдером, чтобы решить проблему как можно быстрее. Мы будем держать вас в курсе, как только у нас будет больше деталей. Спасибо за ваше терпение, пока мы работаем над тем, чтобы вернуть все в нормальное русло.
Большая часть нашей сети теперь восстановлена; пожалуйста, имейте в виду, что любые задержки данных вставлены, а полная функциональность запроса восстановлена.
Проблема решена; все ожидающие данные были проглочены, и запросы полностью работоспособны.
Автоматический перевод официального обновления инцидента.
В настоящее время мы расследуем проблему, когда журналы, отправленные через RSyslog из Digital Ocean, не достигают нашей конечной точки приема. Это началось после запланированной миграции старых источников Rsyslog в нашу новую облачную инфраструктуру и, похоже, влияет только на платформу Digital Ocean. В настоящее время мы сотрудничаем с командой Digital Ocean над исправлением, и мы предоставим обновления как можно скорее.
Мы определили первопричину, и похоже, что записи DNS Digital Ocean еще не были обновлены, чтобы указать на новые конечные точки. Это вызвало несовместимость и временную недоступность бревенчатого проглатывания. Мы активно работаем с командой Digital Ocean, чтобы решить эту проблему. В ближайшее время мы поделимся более подробной информацией.
Мы выявили проблему с разрешением DNS между Digital Ocean и Better Stack. Теперь это решено, и журналы теперь обрабатываются нормально.
Автоматический перевод официального обновления инцидента.
Некоторые клиенты снова испытывают задержки в приеме журнала и более медленную производительность запроса. Мы приносим искренние извинения за неоднократные нарушения. Наша команда активно работает над выявлением первопричины и предоставит дальнейшие обновления, как только у нас будет больше информации. Спасибо за ваше терпение и понимание.
Сейчас этот вопрос решен. Задержки с проглатыванием и производительность запросов вернулись к норме для всех пострадавших клиентов. Мы приносим извинения за неоднократные нарушения и ценим ваше терпение, поскольку мы работали над восстановлением службы. Наша команда продолжает внимательно следить за ситуацией, чтобы обеспечить постоянную стабильность. Если вы продолжаете испытывать какие-либо проблемы, пожалуйста, немедленно свяжитесь с нами.
Автоматический перевод официального обновления инцидента.
Некоторые клиенты снова испытывают задержки в приеме журнала и более медленную производительность запроса. Мы приносим извинения за повторение и понимаем, насколько разрушительным это может быть. Наша команда активно расследует основную причину, и мы поделимся более подробной информацией, как только они появятся. Спасибо за ваше терпение и понимание!
Сейчас этот вопрос решен. Проглатывание журнала и выполнение запросов теперь стабильны. Мы еще раз приносим извинения за срыв и ценим ваше терпение, пока мы решаем эту проблему. Если вы заметили какие-либо текущие проблемы, пожалуйста, немедленно свяжитесь с нами.
Автоматический перевод официального обновления инцидента.
В настоящее время мы изучаем сообщения о спорадических задержках приема журналов и уменьшении производительности запросов, влияющих на подмножество источников. Наша инженерная команда усердно работает, чтобы как можно быстрее определить причину и вернуть системы к нормальной скорости. Мы поделимся еще одним обновлением, как только у нас будет больше информации - спасибо за поддержку!
Этот вопрос решен. Проглатывание журнала и производительность запросов вернулись к норме. Спасибо за ваше терпение, пока мы работали над этим инцидентом. Если вы продолжаете испытывать какие-либо проблемы, пожалуйста, не стесняйтесь обращаться по адресу «[email protected]».
Автоматический перевод официального обновления инцидента.
Мы знаем о сообщениях о периодических задержках в приеме журнала и более медленной, чем обычно, производительности запросов, затрагивающих некоторых клиентов. Наша инженерная команда активно исследует первопричину и работает над тем, чтобы как можно скорее восстановить полную производительность. Мы опубликуем еще одно обновление, как только у нас будет больше деталей - спасибо за ваше терпение!
Мы определили и устранили первопричину проблемы. Задержки с проглатыванием журнала устраняются, и производительность запросов вернулась к норме. Если вы продолжаете испытывать какие-либо проблемы, пожалуйста, свяжитесь с нами по адресу '[email protected]'. Спасибо за ваше терпение!
Автоматический перевод официального обновления инцидента.
В настоящее время мы расследуем проблему, вызывающую периодические задержки в приеме журнала и более медленную производительность запросов для некоторых клиентов. Наша инженерная команда работает над тем, чтобы как можно быстрее восстановить полный сервис. Мы постараемся держать вас в курсе, как только появится больше деталей. Большое спасибо за ваше терпение!
Производительность запросов возвращается к норме, и все задерживаемые журналы в настоящее время принимаются; данные не были потеряны. Мы продолжаем следить за системой, чтобы все оставалось стабильным. Спасибо за ваше терпение и за то, что вы с нами. Если вы заметили какие-либо затяжные проблемы, пожалуйста, сообщите нам об этом по адресу '[email protected]'.
Автоматический перевод официального обновления инцидента.
