История сбоев Envoy

1. 23 октября 2026 г. в 10:40 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 23 октября 2026 г. в 10:40 UTCidentified

   Этот вопрос был определен, и в настоящее время осуществляется исправление.

3. 23 октября 2026 г. в 11:14 UTCmonitoring

   Мы вернулись к предыдущей известной рабочей версии

4. 23 октября 2026 г. в 23:16 UTCmonitoring

   Мы выпустили полное исправление проблемы и отслеживаем ее влияние

5. 23 октября 2026 г. в 23:52 UTCmonitoring

   Мы продолжаем отслеживать любые дополнительные проблемы.

6. 24 октября 2026 г. в 00:44 UTCresolved

   Все работает как ожидалось

7. 27 октября 2026 г. в 22:11 UTCpostmortem

   Примерно с 4:45 вечера 22 октября до 3:10 утра 23 октября 2026 года произошла проблема, когда списки сотрудников, загруженные через CSV или автоматизированные скрипты синхронизации, такие как Active Directory, не были обработаны правильно. Во время этого окна обычное обновление безопасности библиотеки программного обеспечения привело к тому, что система неправильно истолковала каждый загруженный файл как пустой, что платформа интерпретировала как запрос на удаление сотрудников из каталога. Это привело к отсутствию записей сотрудников, деактивированным учетным записям пользователей и потере рабочих заданий и ролей местоположения. Наша инженерная команда определила причину как изменение в том, как обновлённая библиотека сохраняет загруженные файлы, которые, к сожалению, не были пойманы во время тестирования релиза. С тех пор мы откатили обновление, развернули постоянное исправление и выполнили заполнение данных из предыдущего снимка базы данных, чтобы восстановить записи сотрудников и воссоздать потерянные рабочие задания. Внутреннее вскрытие было запланировано для анализа инцидента и учета ключевых уроков и действий. Если у вас есть какие-либо вопросы или вам нужна дополнительная информация, пожалуйста, не стесняйтесь обращаться в нашу службу поддержки клиентов по адресу [[email protected]] (mailto:[email protected]) или связаться с вашим менеджером учетной записи.

Автоматический перевод официального обновления инцидента.

1. 4 сентября 2026 г. в 12:13 UTCinvestigating

   В настоящее время мы расследуем этот вопрос.

2. 4 сентября 2026 г. в 12:14 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 4 сентября 2026 г. в 12:17 UTCidentified

   Мы определили причину как проблему с нашим сторонним поставщиком доставки электронной почты, чьи сообщения почтовым службам, размещенным в Microsoft, в настоящее время заглушаются. Это влияет на электронные письма Посланника, отправленные получателям на службах Microsoft, таких как Microsoft 365 и Outlook, включая верификацию входа, приглашения и уведомления посетителей. Пострадавшие сообщения стоят в очереди и перепроверяются автоматически, а не теряются, и должны прибыть после восстановления нормальной доставки. Согласно нашему расследованию, электронная почта всем другим получателям не затрагивается, и от клиентов не требуется никаких действий. Наш провайдер активно исследует; мы опубликуем еще одно обновление в течение часа или раньше, если что-то изменится.

4. 4 сентября 2026 г. в 14:06 UTCmonitoring

   Наш сторонний поставщик доставки электронной почты сообщает о восстановлении при доставке в почтовые службы Microsoft. Мы активно отслеживаем доставку и подтвердим, как только проверим, что сообщения поступают нормально.

5. 4 сентября 2026 г. в 14:55 UTCresolved

   Этот вопрос решен

Автоматический перевод официального обновления инцидента.

1. 27 августа 2026 г. в 17:48 UTCidentified

   Была выявлена и устранена проблема, вызывающая задержки в трубопроводе автоподписки. Мы работаем над мониторингом и ускорением обработки, чтобы вернуть обработку в режиме реального времени.

2. 27 августа 2026 г. в 19:11 UTCmonitoring

   Мы видим, как события догоняют в реальном времени.

3. 27 августа 2026 г. в 20:32 UTCresolved

   Автоподписка обрабатывается в режиме реального времени и остается стабильной. Этот инцидент урегулирован.

Автоматический перевод официального обновления инцидента.

1. 29 июля 2026 г. в 20:19 UTCinvestigating

   В настоящее время мы сталкиваемся с проблемой, связанной с CSS, которая затрагивает многие страницы на панели инструментов. Из-за этой проблемы нарушаются макеты страниц, что может повлиять на удобство использования и отображение элементов пользовательского интерфейса. Наша команда определила проблему и активно работает над исправлением. Мы будем предоставлять обновления по мере поступления дополнительной информации.

2. 29 июля 2026 г. в 20:26 UTCidentified

   Этот вопрос был определен, и в настоящее время осуществляется исправление.

3. 29 июля 2026 г. в 20:33 UTCresolved

   Мы определили и устранили проблему. Страница сейчас отображается, как и ожидалось, и мы продолжаем следить.

Автоматический перевод официального обновления инцидента.

1. 2 июля 2026 г. в 14:03 UTCinvestigating

   We are currently investigating an issue that is causing the Envoy dashboard to be unavailable. Our team is working to identify the root cause. We apologize for the inconvenience and appreciate your patience while our team works on restoring the functionality. For any further questions, please contact Envoy Support via [email protected]

2. 2 июля 2026 г. в 14:04 UTCinvestigating

   We are continuing to investigate this issue.

3. 2 июля 2026 г. в 14:20 UTCresolved

   Resolved: The dashboard outage has been resolved. Dashboard access and functionality have been restored, and users should now be able to load dashboards and perform dashboard-related actions normally.

1. 2 июля 2026 г. в 12:46 UTCinvestigating

   В настоящее время мы сталкиваемся с проблемой, когда электронные письма не доставляются. Наша команда активно исследует и будет делиться обновлениями по мере того, как мы узнаем больше.

2. 2 июля 2026 г. в 14:14 UTCinvestigating

   Мы продолжаем расследование этого вопроса.

3. 2 июля 2026 г. в 14:19 UTCresolved

   Решение: вопрос с доставкой по электронной почте решен. Электронные письма теперь успешно отправляются, и пользователи должны получать любые новые уведомления по электронной почте, как и ожидалось.

4. 15 июля 2026 г. в 21:35 UTCpostmortem

   2 июля 2026 года, начиная примерно с 1:30 утра ПДТ, служба уведомлений вошла в деградировавшее состояние, задержав доставку экстренных уведомлений, приглашений на встречи и других транзакционных сообщений. Недавнее обновление программного обеспечения ввело ошибку конфигурации, которая помешала службе правильно обрабатывать исходящие сообщения, и значительное отставание, накопленное в течение нескольких часов. Мониторинг уловил проблему вскоре после появления отчетов, и инженеры решили ее, вернувшись к предыдущей стабильной версии. Все уведомления в очередь были доставлены 7:13 AM PDT Для анализа инцидента был организован внутренний посмертный эксперимент, в котором были отмечены ключевые элементы обучения и действий. Если у вас есть какие-либо вопросы или вам нужна дополнительная информация, пожалуйста, не стесняйтесь обращаться в нашу службу поддержки клиентов по адресу [[email protected]] (mailto:[email protected]) или связаться с вашим менеджером учетной записи.

Автоматический перевод официального обновления инцидента.

1. 22 июня 2026 г. в 14:35 UTCinvestigating

   We are currently investigating a low amount of elevated errors on dashboard.envoy.com.

2. 22 июня 2026 г. в 14:47 UTCresolved

   This incident has been resolved.

1. 11 июня 2026 г. в 13:51 UTCinvestigating

   We are currently investigating an issue that is causing the Envoy dashboard to be unavailable. Our team is working to identify the root cause. We apologize for the inconvenience and appreciate your patience while our team works on restoring the functionality. For any further questions, please contact Envoy Support via [email protected]

2. 11 июня 2026 г. в 14:15 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 11 июня 2026 г. в 15:00 UTCresolved

   This incident has been resolved.

4. 15 июня 2026 г. в 17:18 UTCpostmortem

   On June 11, 2026, at around 6:37 AM PDT, a backend database reached its storage capacity, causing the customer dashboard and mobile applications to become unresponsive. The outage was caused by a data synchronization task that failed to clear old logs, leading to a steady buildup that eventually saturated the database volume. Our engineering team restored service by manually expanding the database storage and clearing the stalled synchronization task to reclaim space. While the dashboard recovered quickly, mobile app access was restored shortly after once the system status was fully cleared. We have since implemented more aggressive alerting for database storage levels to ensure our teams are paged immediately if a similar buildup occurs.  An internal post-mortem has been organized to analyze the incident and note key learnings and action items. If you have any questions or require additional information, please don't hesitate to contact our Customer Support team via [[email protected]](mailto:[email protected]) or contact your dedicated account manager.

1. 11 мая 2026 г. в 17:35 UTCinvestigating

   We are currently investigating an issue causing intermittent slow performance with the Envoy dashboard. Some users may experience delays or difficulty accessing certain features. Our team is actively working to identify the root cause and implement a fix. We apologize for the inconvenience and appreciate your patience while we work to restore full functionality. For any further questions, please contact Envoy Support via [email protected]

2. 11 мая 2026 г. в 18:02 UTCinvestigating

   We are continuing to investigate this issue.

3. 11 мая 2026 г. в 18:03 UTCresolved

   This incident has been resolved.

4. 15 мая 2026 г. в 19:42 UTCpostmortem

   On May 11 at around 10:21 AM PDT, a scheduled background job combined with high traffic patterns pushed our application database past its capacity, causing a performance bottleneck that made the Envoy Dashboard slow and unresponsive. Our team identified the responsible job and optimized and scaled the database to restore dashboard performance. An internal post-mortem has been organized to analyze the incident and note key learnings and action items. If you have any questions or require additional information, please don't hesitate to contact our Customer Support team via [[email protected]](mailto:[email protected]) or contact your dedicated account manager.

1. 8 мая 2026 г. в 01:16 UTCinvestigating

   We are currently looking into the issue to identify the root cause.

2. 8 мая 2026 г. в 01:40 UTCmonitoring

   The issue has been identified, and we’re seeing improvements across all product functionality.

3. 8 мая 2026 г. в 01:53 UTCmonitoring

   We are continuing to monitor for any further issues.

4. 8 мая 2026 г. в 03:17 UTCresolved

   This incident has been resolved.

5. 21 мая 2026 г. в 01:39 UTCpostmortem

   On May 7, 2026, at around 5:36 PM PDT, a thermal event at an AWS data center caused a power loss to the hardware in one of the regions where we host our database. AWS continued to report the database as healthy despite it being unavailable, causing our application to repeatedly attempt connections to an unreachable database, which brought the Envoy Dashboard down. Our team restored service by rerouting database traffic to a healthy region. An internal post-mortem has been organized to analyze the incident and note key learnings and action items. If you have any questions or require additional information, please don't hesitate to contact our Customer Support team via [[email protected]](mailto:[email protected]) or contact your dedicated account manager.

1. 12 марта 2026 г. в 14:51 UTCinvestigating

   We are investigating issues impacting auto-sign in.

2. 12 марта 2026 г. в 15:13 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 12 марта 2026 г. в 16:01 UTCresolved

   This incident has been resolved.

4. 18 мая 2026 г. в 19:16 UTCpostmortem

   On March 11 at around 11:24 AM PST, an authentication issue caused sign-in events from integrations like WiFi, badge readers, and SSO to be queued instead of processed. Our team resolved the issue and replayed the queued events to ensure all impacted data was recovered. An internal post-mortem has been organized to analyze the incident and note key learnings and action items. If you have any questions or require additional information, please don't hesitate to contact our Customer Support team via [[email protected]](mailto:[email protected]) or contact your dedicated account manager.

1. 27 января 2026 г. в 16:50 UTCinvestigating

   We are currently investigating the issue.

2. 27 января 2026 г. в 17:34 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 27 января 2026 г. в 17:34 UTCmonitoring

   We are continuing to monitor for any further issues.

4. 27 января 2026 г. в 17:59 UTCresolved

   This incident has been resolved.

1. 27 января 2026 г. в 16:47 UTCresolved

   We are currently experiencing slower loading time with our Maps. Our engineering team is currently investigating the root cause of the issue.

1. 26 января 2026 г. в 16:55 UTCinvestigating

   We are currently investigating this issue.

2. 26 января 2026 г. в 16:56 UTCinvestigating

   We are continuing to investigate this issue.

3. 26 января 2026 г. в 17:59 UTCresolved

   We are currently experiencing slower loading time with our . Our engineering team is currently investigating the root cause of the issue.

1. 23 января 2026 г. в 23:07 UTCinvestigating

   We are currently investigating issues related to Visitors device connectivity that may be impacting badge printing functionality for some customers. Our team is actively working to identify the root cause and assess for a resolution; updates will be shared as more information becomes available. We appreciate your understanding - for any additional questions or feedback, please contact the Customer Support team via live chat or [email protected]!

2. 24 января 2026 г. в 02:24 UTCinvestigating

   We continue to investigate reports of customers experiencing difficulties printing badges in the Envoy Kiosk App. Our team has identified a potential code issue that may be contributing to this behavior and is working to confirm the root cause. We will provide another update as soon as we have more information.

3. 25 января 2026 г. в 02:35 UTCmonitoring

   Envoy Kiosk v5.59.0 has been released to the App Store with changes aimed at stabilizing the printer functionality issues. We are monitoring the situation to confirm the fix is working as expected.

4. 28 января 2026 г. в 22:32 UTCresolved

   The issue has been resolved, and printer functionality has been stable with the new update.

1. 16 января 2026 г. в 12:58 UTCinvestigating

   We are currently investigating this issue.

2. 16 января 2026 г. в 13:21 UTCidentified

   Team has identified the problem and is working on the solution.

3. 16 января 2026 г. в 13:43 UTCmonitoring

   A fix has been deployed, and room devices are gradually returning online.

4. 16 января 2026 г. в 14:43 UTCresolved

   The issue has been resolved. Rooms devices are up and running and Envoy dashboard is operational.

1. 15 января 2026 г. в 17:41 UTCresolved

   Engineers have identified the root cause and deployed the fix. The issue was fully resolved at 9:35am

1. 2 января 2026 г. в 17:57 UTCinvestigating

   We are currently investigating this issue.

2. 2 января 2026 г. в 19:43 UTCinvestigating

   We are continuing to investigate this issue.

3. 2 января 2026 г. в 19:45 UTCmonitoring

   We have deployed version 4.55.2 of the Envoy Visitors Kiosk to the App Store. Updating to this version of the app should fix the problem.

4. 3 января 2026 г. в 00:17 UTCmonitoring

   We are continuing to monitor for any further issues.

5. 3 января 2026 г. в 00:18 UTCresolved

   This incident has been resolved.

1. 5 декабря 2025 г. в 09:03 UTCinvestigating

   We are seeing elevated error rates on attempting to access the Envoy site. We are currently investigating issues with Cloudflare: https://www.cloudflarestatus.com/incidents/lfrm31y6sw9q We will update when we have more information.

2. 5 декабря 2025 г. в 09:09 UTCinvestigating

   We are continuing to investigate this issue.

3. 5 декабря 2025 г. в 09:14 UTCmonitoring

   We are seeing some portions of the site recover.

4. 5 декабря 2025 г. в 09:19 UTCmonitoring

   We are seeing the site recover to full operational status. We will continue monitoring.

5. 5 декабря 2025 г. в 09:32 UTCresolved

   This incident has been resolved.

1. 17 ноября 2025 г. в 16:16 UTCinvestigating

   We are experiencing issues with our Slack integration. Both installation and notification sending via Slack are currently unavailable.

2. 17 ноября 2025 г. в 16:22 UTCidentified

   We have identified the issue and provided a fix.

3. 17 ноября 2025 г. в 16:26 UTCresolved

   The issue with our Slack integration has been resolved. Customers should now be able to install Slack on Envoy and use the notification feature.