История сбоев Expel

1. 22 сентября 2026 г. в 15:26 UTCinvestigating

   В 10:30 утра по восточному времени мы начали испытывать проблемы с бдительным приемом пищи. Операции SOC затронуты, но будут догонять после восстановления сервиса; никакие данные не будут потеряны. Мы предоставим обновление до 12:30 вечера по восточному времени.

2. 22 сентября 2026 г. в 16:21 UTCinvestigating

   В 10:30 утра по восточному времени мы начали испытывать проблемы с бдительным приемом пищи. Операции SOC затронуты, но будут догонять после восстановления сервиса; никакие данные не будут потеряны. Мы предоставим обновление до 1:30 вечера по восточному времени.

3. 22 сентября 2026 г. в 17:28 UTCinvestigating

   В 10:30 утра по восточному времени мы начали испытывать проблемы с бдительным приемом пищи. Операции SOC затронуты, но будут догонять после восстановления сервиса; никакие данные не будут потеряны. Мы предоставим обновление к 2:30PM ET.

4. 22 сентября 2026 г. в 18:24 UTCinvestigating

   В 10:30 утра по восточному времени мы начали испытывать проблемы с бдительным приемом пищи. Операции SOC затронуты, но будут догонять после восстановления сервиса; никакие данные не будут потеряны. Мы предоставим обновление к 3:30PM ET.

5. 22 сентября 2026 г. в 19:13 UTCmonitoring

   Мы внедрили исправление и считаем, что инцидент должен быть решен. Мы следим за состоянием инфраструктуры и решим это, если не будет нерешенных вопросов. Пожалуйста, дайте нам знать, если вы испытываете какие-либо проблемы.

6. 22 сентября 2026 г. в 21:03 UTCresolved

   Этот инцидент был урегулирован.

Автоматический перевод официального обновления инцидента.

1. 30 августа 2026 г. в 09:43 UTCidentified

   Письма из Workbench задерживаются с 12 утра по Гринвичу. Мы определили первопричину и работаем над исправлением. Ответы на фишинг, уведомления электронной почты пользователей и уведомления о бронировании билетов на уровне организации задерживаются с 12 утра UTC. Операции SOC и предупредительный прием не затрагиваются. Мы предоставим еще одно обновление к 12:30 вечера UTC

2. 30 августа 2026 г. в 11:10 UTCidentified

   Мы установили, что причина продолжает работать над восстановлением. Мы также подтвердили, что из-за этой проблемы, когда кто-то отправляет предполагаемое фишинговое электронное письмо, электронное письмо не дойдет до Workbench для рассмотрения. Следующее обновление в 1 вечер UTC.

3. 30 августа 2026 г. в 12:58 UTCidentified

   Мы продолжаем работать над восстановлением. Услуги MDR не затронуты. Предупреждение, обнаружение и исследование работают нормально. Уведомления Slack, Microsoft Teams, PagerDuty, Opsgenie и Service Now все еще поступают. Доставка электронной почты из Workbench остается недоступной. В настоящее время никаких действий не требуется; мы подтвердим шаги повторной отправки для фишинговых представлений после восстановления обслуживания. Следующее обновление: понедельник, 31 августа в 13:00 UTC (9:00 AM ET)

4. 30 августа 2026 г. в 18:14 UTCmonitoring

   Доставка электронной почты из Workbench в настоящее время работает, и электронные письма в очереди воспроизводятся. Обновление будет опубликовано после завершения повтора.

5. 30 августа 2026 г. в 19:53 UTCresolved

   Этот вопрос решен. Доставка электронной почты из Workbench была восстановлена, и фишинговые сообщения обрабатываются нормально. Подозреваемые фишинговые письма, отправленные в течение этого времени, не были получены Expel и не могли быть обработаны. Пожалуйста, попросите ваших пользователей повторно отправить все, что они сообщили в течение этого периода. Электронные письма с уведомлением, созданные за это время, были доставлены. Некоторые из них могут появиться позже, чем метки времени, которые они изначально генерировали.

Автоматический перевод официального обновления инцидента.

1. 17 июля 2026 г. в 02:21 UTCinvestigating

   В 9:58 вечера мы начали испытывать проблему с базой данных Workbench, которая препятствует доступу пользователей к Workbench. Мы предоставим обновление до 11 вечера EDT.

2. 17 июля 2026 г. в 02:34 UTCmonitoring

   Мы внедрили исправление и считаем, что инцидент должен быть решен. Мы следим за состоянием инфраструктуры и решим это, если не будет нерешенных вопросов. Пожалуйста, дайте нам знать, если вы испытываете какие-либо проблемы.

3. 17 июля 2026 г. в 03:01 UTCresolved

   Инцидент был урегулирован, и все системы снова полностью доступны. Данные о клиентах не были потеряны; операции SOC были затронуты, но вернулись к норме.

Автоматический перевод официального обновления инцидента.

1. 13 июля 2026 г. в 20:20 UTCinvestigating

   18 июня в среде Expel были внесены изменения, которые непреднамеренно ввели логику, которая бесшумно индексировала предупреждения поставщиков. Это изменение было отменено, чтобы восстановить оповещение, как только оно было идентифицировано 1 июля. Наша команда определила несколько предупреждений, которые произошли в течение периода обслуживания в ряде клиентских сред, которые мы воспроизводим. Если какие-либо инциденты всплыли, пострадавшие клиенты будут уведомлены через Workbench. Тем временем, пожалуйста, не стесняйтесь обращаться к нашей команде с любыми вопросами.

2. 12 августа 2026 г. в 17:47 UTCresolved

   This incident has been resolved.

Автоматический перевод официального обновления инцидента.

1. 18 июня 2026 г. в 20:37 UTCinvestigating

   At 2pm ET, we began experiencing a problem with our notification system that is causing notification delays to our customers. We will provide an update by 5pm ET.

2. 18 июня 2026 г. в 21:05 UTCidentified

   We've identified the cause of the delayed notifications as an issue with a third-party notification vendor. A fix is currently being applied. Workbench notifications have been delayed since 19:09 UTC, and we'll provide another update at 21:30 UTC.

3. 18 июня 2026 г. в 21:35 UTCidentified

   Workbench notifications continue to be delayed since 19:09 UTC due to an issue with a third-party notification vendor. They are working on a fix. All delayed notifications will be processed once the outage is resolved. Next update 22:00 UTC

4. 18 июня 2026 г. в 22:13 UTCmonitoring

   The cause of the notification delays has been resolved and we are observing delayed messages being delivered. All delayed notifications will be processed and we will continue to monitor.

5. 18 июня 2026 г. в 23:28 UTCresolved

   All delayed messages have been delivered and the notifications system is fully operational.

1. 17 июня 2026 г. в 23:11 UTCinvestigating

   We are investigating an issue affecting the processing of phishing submissions. Beginning at 19:47 UTC, phishing submissions are not being processed, which is preventing the creation of Phishing Expel Alerts. Suspected phishing emails submitted for review during this period may not yet be analyzed. Our team is actively working to identify the cause. We will provide an update by 00:00 UTC.

2. 18 июня 2026 г. в 00:07 UTCinvestigating

   We are continuing to investigate this issue

3. 18 июня 2026 г. в 00:59 UTCinvestigating

   We are continuing to investigate this issue. Will post another update in 60 minutes.

4. 18 июня 2026 г. в 02:12 UTCinvestigating

   We think we have identified the problem and are working on a resolution right now. Will update again in 60 minutes.

5. 18 июня 2026 г. в 03:17 UTCinvestigating

   Beginning at 19:47 UTC, phishing submissions are not being processed, which is preventing the creation of Phishing Expel Alerts. Suspected phishing emails submitted for review during this period may not yet be analyzed. We've identified the cause and we are working with the vendor to address the issue. We expect to retrieve and process them once service is restored.

6. 18 июня 2026 г. в 13:29 UTCresolved

   This incident has been resolved.

1. 17 июня 2026 г. в 16:16 UTCinvestigating

   At 10am ET, we began experiencing a problem with alert ingestion for some AWS Cloudtrail devices. We will provide an update by 1pm ET.

2. 17 июня 2026 г. в 16:37 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 17 июня 2026 г. в 16:59 UTCresolved

   This incident has been resolved.

1. 9 июня 2026 г. в 15:40 UTCinvestigating

   Workbench is currently experiencing connectivity issues and may be inaccessible for some users. We are investigating the issue and will provide an update within an hour.

2. 9 июня 2026 г. в 16:42 UTCinvestigating

   Workbench is still experiencing connectivity issues. We are still investigating the issue and will provide an update in 1 hour.

3. 9 июня 2026 г. в 17:22 UTCmonitoring

   We have identified the issue, have rolled out a fix and are monitoring the situation.

4. 9 июня 2026 г. в 17:24 UTCmonitoring

   We are continuing to monitor for any further issues.

5. 9 июня 2026 г. в 17:33 UTCresolved

   This incident has been resolved.

1. 13 мая 2026 г. в 16:23 UTCidentified

   We are aware of an issue with the Expel Alerts count being inflated for customers. We have identified the root cause and are working on a remediation. SOC operations and alert ingestion are not affected. We will provide another update by 1pm EDT.

2. 13 мая 2026 г. в 16:38 UTCidentified

   We have remediated the issue with Expel Alerts count being inflated for customers by shifting to a different source of statistics. We are working on fixing the underlying issue with our main source of count data. We will provide another update by 1pm EDT.

3. 13 мая 2026 г. в 16:46 UTCresolved

   The incident has been resolved, and all alerts counts are once again accurate. No customer data was lost, and SOC operations were not impacted.

1. 1 мая 2026 г. в 18:50 UTCinvestigating

   At 2pm EDT, we began experiencing a problem with the customer device secrets service that is preventing our infrastructure from accessing customer security devices. We will provide an update by 3:30pm EDT.

2. 1 мая 2026 г. в 19:09 UTCmonitoring

   We have implemented a fix and believe the incident to be resolved. We are seeing customer security devices returning to healthy status. We are monitoring the health of the infrastructure and will post another update by 4pm EDT.

3. 1 мая 2026 г. в 20:01 UTCresolved

   The incident has been resolved, and all systems are once again fully available. No customer data was lost, and all previously-accessible security devices are once again accessible and ingesting alerts.

1. 25 апреля 2026 г. в 17:42 UTCinvestigating

   At 1pm ET, we began experiencing a problem with our notification system that is causing notification delays to our customers.  We will provide an update by 2:30pm ET.

2. 25 апреля 2026 г. в 18:09 UTCresolved

   This issue has been resolved. All notifications in the backlog have been delivered and new notifications are being delivered as normal.

1. 20 апреля 2026 г. в 16:20 UTCinvestigating

   At 10:59AM EDT, we noticed that a set of devices have been unhealthy since last week due to invalid credentials. We believe the cause to be a change to our device credentials storage subsystem. We are working to identify the specific set of devices and restore the credentials. Once restored, all delayed alerts will be ingested. We will provide an updated by 1pm EDT.

2. 20 апреля 2026 г. в 17:00 UTCinvestigating

   We have identified the specific subset of devices that are affected and are working on restoring the credentials for those devices. Once restored, all alerts that have not been ingested for these devices will be ingested. We will provide another update by 1:30pm EDT.

3. 20 апреля 2026 г. в 17:35 UTCinvestigating

   We have identified the specific subset of devices that are affected and are working on restoring the credentials for those devices. Once restored, all alerts that have not been ingested for these devices will be ingested. We will provide another update by 2:00pm EDT.

4. 20 апреля 2026 г. в 18:01 UTCinvestigating

   We have identified the specific subset of devices that are affected and are working on restoring the credentials for those devices. Once restored, all alerts that have not been ingested for these devices will be ingested. We will provide another update by 2:30pm EDT.

5. 20 апреля 2026 г. в 18:34 UTCidentified

   We have restored the credentials for the affected subset of devices. We are monitoring closely to ensure proper ingestion of delayed alerts. We will provide another update by 3:00pm EDT.

6. 20 апреля 2026 г. в 19:02 UTCidentified

   We have restored the credentials for the subset of devices. We are monitoring closely to ensure proper ingestion of delayed alerts. We will provide another update by 3:30pm EDT.

7. 20 апреля 2026 г. в 19:34 UTCmonitoring

   We restored the credentials for the subset of devices, and are seeing that the majority of devices have returned to a healthy state. We are investigating the remaining unhealthy devices, which do not seem related to the credentials. We will provide another update by 4:00pm EDT.

8. 20 апреля 2026 г. в 20:01 UTCmonitoring

   We restored the credentials for the subset of devices, and are seeing that the majority of devices have returned to a healthy state. We are investigating the remaining unhealthy devices, which do not seem related to credentials. We will provide another update by 4:30pm EDT.

9. 20 апреля 2026 г. в 20:54 UTCresolved

   We restored the credentials for the subset of devices, and are seeing that the majority of devices have returned to a healthy state. We investigated the remaining unhealthy devices, which are not related to the customer secrets vault upgrade. This incident is resolved.

1. 24 марта 2026 г. в 16:58 UTCinvestigating

   Notifications are currently not being delivered to Microsoft Teams since 4pm UTC. We are actively investigating to determine and address the root cause. We advise you login to Workbench for timely updates and/or to engage with Expel's SOC until the issue is resolved. Updates will be shared as soon as they are available. We will provide an update by 5:30pm UTC.

2. 24 марта 2026 г. в 17:49 UTCidentified

   Update: We have confirmed there are no technical issues with Workbench or with our third party systems that support notifications. Microsoft has since updated its Teams service health to indicate they are investigating a possible issue. We recommend you check your MSFT 365 service health and Microsoft's status page for updates: https://status.cloud.microsoft/m365/referrer=serviceStatusRedirect Until further notice, please continue to login to Workbench for timely updates and/or to engage with Expel's SOC. We will provide notice when Workbench notifications to Teams are operational.

3. 24 марта 2026 г. в 21:02 UTCmonitoring

   Update: We are observing a broad recovery in MS Teams message delivery as of 19:10 UTC. However, Microsoft has confirmed that service remains degraded for some users in the West United States region due to ongoing infrastructure optimizations. We are continuing to monitor the situation. Any messages delayed during this incident are being automatically reprocessed for delivery.

4. 24 марта 2026 г. в 21:12 UTCresolved

   Resolved: Microsoft has confirmed that the issues affecting Teams bots and message delivery are now fully resolved. All delayed messages have been reprocessed and delivered. Service is operating normally.

1. 2 марта 2026 г. в 18:35 UTCmonitoring

   We are currently monitoring an outage affecting the AWS GuardDuty service. As a result of this outage, our integration with AWS GuardDuty is currently reporting as unhealthy. We will provide an update within 60 minutes, or as soon as more information is available.

2. 2 марта 2026 г. в 19:36 UTCmonitoring

   We are working on a workaround that will bypass the faulty AWS region in order resume alert ingestion from healthy regions. Once the outage in the faulty region is over, we will resume ingestion in that region. We will provide an update within 60 minutes, or as soon as more information is available.

3. 2 марта 2026 г. в 20:36 UTCresolved

   Workaround is in place, we are bypassing the faulty AWS region and all impacted devices have resumed ingestion. Once the outage in the faulty region is over, we will resume ingestion in that region. Alert Ingestion issue resolved.

1. 2 февраля 2026 г. в 21:00 UTCinvestigating

   Expel is investigating an issue with Workbench notifications that may be preventing users from receiving outbound notifications from Workbench to User Email, Email Ticketing, Slack, MS Teams, PagerDuty, and OpsGenie integrations since 19:30 UTC. We will provide an update by 21:30 UTC.

2. 2 февраля 2026 г. в 21:15 UTCidentified

   We have identified the root cause as an issue with a 3rd party vendor. They are actively working on resolving the issue. We have confirmed that outbound notifications from Workbench have not been delivered to to User Email, Email Ticketing, Slack, MS Teams, PagerDuty, and OpsGenie since 19:30 UTC. These notifications are queued and will be re-sent when the issue is resolved. Alert ingestion is not affected. We will provide another update by 21:30 UTC.

3. 2 февраля 2026 г. в 21:41 UTCidentified

   Outbound notifications from Workbench to User Email, Email Ticketing, Slack, MS Teams, PagerDuty, and OpsGenie continue to be delayed. We will provide an update by 22:00 UTC.

4. 2 февраля 2026 г. в 22:00 UTCidentified

   Outbound notifications from Workbench to User Email, Email Ticketing, Slack, MS Teams, PagerDuty, and OpsGenie continue to be delayed. We will provide an update by 22:30 UTC.

5. 2 февраля 2026 г. в 22:12 UTCmonitoring

   We are observing that delayed messages are starting to be delivered. We will monitor the backlog of delayed notifications and the health of the system. We will provide an update by 22:30 UTC.

6. 2 февраля 2026 г. в 22:33 UTCresolved

   The incident has been resolved, and all delayed notifications have been delivered. No customer data was lost, and SOC operations were not impacted.

1. 20 января 2026 г. в 20:31 UTCinvestigating

   At 3:00pm ET, we began experiencing a problem with alert ingestion. We will provide an update by 4:30pm ET.

2. 20 января 2026 г. в 20:54 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 20 января 2026 г. в 23:02 UTCresolved

   This incident has been resolved.

1. 7 января 2026 г. в 19:51 UTCinvestigating

   Starting 1/6/25 at roughly 12:00 EST, we have identified an issue with our phishing service where outcome emails are being sent multiple times to some users and are investigating the root cause. Ingestion and email review are not affected. We will provide an update at 4pm EST.

2. 7 января 2026 г. в 21:11 UTCidentified

   We believe we have identified the root cause of duplicate phishing outcome emails and are preparing a hotfix. Next update at 5pm EST.

3. 7 января 2026 г. в 22:00 UTCmonitoring

   The hotfix for duplicate phishing outcomes has been deployed and we are monitoring. Next update at 6pm EST.

4. 7 января 2026 г. в 22:54 UTCresolved

   The hotfix for phishing submission outcome emails was successful and behavior has returned to normal. This incident is resolved.

1. 29 декабря 2025 г. в 21:26 UTCinvestigating

   At 3:17, we began experiencing a problem with enrichment service that is impacting detections. We will provide an update by 4:45.

2. 29 декабря 2025 г. в 21:49 UTCmonitoring

   We have identified and implemented a fix and are monitoring; service queues are approaching normal.

3. 29 декабря 2025 г. в 22:09 UTCresolved

   Detection pipelines are caught up. Service is nominal.

1. 18 ноября 2025 г. в 15:34 UTCidentified

   Workbench cannot currently deliver notifications to Microsoft Teams. The issue began around 9:45am ET. Expel is actively investigating the issue to determine if it is related to the larger Cloudflare outage. We recommend you utilize email notifications in the interim, and can confirm communicating with Expel personnel via Microsoft Teams still works. The issue is specific to Workbench notifications.

2. 18 ноября 2025 г. в 15:50 UTCmonitoring

   The underlying issue has been resolved We are monitoring the health of the infrastructure and will resolve this if there are no outstanding issues. Please let us know if you are experiencing any problems.

3. 19 ноября 2025 г. в 18:17 UTCresolved

   This incident has been resolved.

1. 12 ноября 2025 г. в 15:28 UTCidentified

   We’re upgrading our API connection and that may impact delivery of some alerts to Workbench. We are actively investigating and collaborating on a solution to ensure the consistent and complete delivery of all alert data. Please reach out to Orca if you’d like additional information. Thank you for your patience and understanding as we work through this.

2. 17 апреля 2026 г. в 13:52 UTCresolved

   This incident has been resolved.