Envoy 장애 기록

1. 2026년 10월 23일 오전 10:40 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 10월 23일 오전 10:40 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

3. 2026년 10월 23일 오전 11:14 UTCmonitoring

   우리는 이전 알려진 작업 버전으로 돌아 왔습니다

4. 2026년 10월 23일 오후 11:16 UTCmonitoring

   우리는 문제점에 가득 차있는 고침을 풀어 놓고 그것의 충격을 감시하고 있습니다

5. 2026년 10월 23일 오후 11:52 UTCmonitoring

   우리는 더 많은 문제를 모니터링하고 있습니다.

6. 2026년 10월 24일 오전 12:44 UTCresolved

   예상대로 일하는 모든 것

7. 2026년 10월 27일 오후 10:11 UTCpostmortem

   10월 22일 오후 4시 45분 PDT부터 10월 23일 오전 10시 10분 PDT까지는 CSV 또는 자동화된 동기화 스크립트를 통해 업로드된 직원 목록이 발생했습니다. Active Directory와 같은 제대로 처리되지 않았습니다. 이 창 중, 소프트웨어 라이브러리에 대한 일상적인 보안 업데이트는 모든 업로드 된 파일로 빈으로 잘못되었는지, 플랫폼은 디렉토리에서 직원을 제거하는 요청으로 해석. 이 결과 누락된 직원 기록, 비활성화된 사용자 계정, 그리고 책상 할당 및 위치 역할의 손실. 엔지니어링 팀은 업데이트 된 라이브러리가 다운로드 된 파일을 저장하는 방법에 대한 변경으로 원인을 확인했습니다. 이는 공개 테스트 중에 불행하게도 붙지 않았습니다. 우리는 업데이트가로드 된 이후, 영구 수정을 배포하고 이전 데이터베이스 스냅 샷에서 데이터를 백업하여 직원 기록을 복원하고 분실 된 책상 할당을 다시 작성했습니다. 내부 post-mortem는 사건과 주의 중요한 학습 및 활동 품목을 분석하기 위해 예정되었습니다. 궁금한 사항이 있거나 추가 정보가 필요하시면 [[email protected]](mailto:[email protected])을 통해 고객 지원팀에 연락하거나 전용 계정 관리자에게 연락하십시오.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 4일 오후 12:13 UTCinvestigating

   우리는 현재이 문제를 조사하고 있습니다.

2. 2026년 9월 4일 오후 12:14 UTCinvestigating

   이 문제를 조사하고 있습니다.

3. 2026년 9월 4일 오후 12:17 UTCidentified

   우리는 Microsoft 호스팅 메일 서비스에 메시지가 현재 throttled 인 우리의 타사 이메일 배달 제공 업체와 문제가 발생했습니다. 이 에 영향을 미치는 Envoy 이메일은 Microsoft 365 및 Outlook과 같은 Microsoft 서비스에 수신자에게 보내 - 서명 확인, 초대, 및 방문자 알림 이메일. 감염된 메시지는 잃어버린 것 보다는 자동적으로 자동적으로 달리고, 한 번 정상적인 납품은 복원되어야 합니다. 우리의 조사에 의하여, 다른 모든 받는 사람에 이메일은 비난되고, 활동은 고객에서 요구되지 않습니다. 우리의 공급자는 적극적인 조사입니다; 우리는 시간 안에 또 다른 갱신을 또는 어떤 변화든지 경우에 빨리 게시할 것입니다.

4. 2026년 9월 4일 오후 2:06 UTCmonitoring

   우리의 제삼자 이메일 납품 공급자는 Microsoft 호스팅 우편 서비스에 납품에 있는 회복을 보고합니다. 우리는 적극적으로 납품을 모니터링하고 우리가 확인 한 번 확인 메시지는 일반적으로 흐르는.

5. 2026년 9월 4일 오후 2:55 UTCresolved

   이 문제는 해결되었습니다

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 27일 오후 5:48 UTCidentified

   자동 로그인 파이프라인의 지연이 확인 및 수정되었습니다. 우리는 즉시, 빨리 처리하기 위하여 가공을 위로 감시하고 속도를 일하고 있습니다.

2. 2026년 8월 27일 오후 7:11 UTCmonitoring

   실시간 이벤트를 볼 수 있습니다.

3. 2026년 8월 27일 오후 8:32 UTCresolved

   Auto sign-in는 순간에서 가공되고 안정되어 있었습니다. 이 사건은 해결됩니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 29일 오후 8:19 UTCinvestigating

   우리는 현재 대시보드에 많은 페이지에 영향을 미치는 CSS 관련 문제를 경험하고 있습니다. 이 문제로 인해 페이지 레이아웃이 부서지기 때문에 유용성과 UI 요소의 디스플레이에 영향을 미칠 수 있습니다. 우리의 팀은 문제점을 확인하고 해결에 적극적으로 일하고 있습니다. 우리는 더 많은 정보로 업데이트를 제공 할 것입니다.

2. 2026년 7월 29일 오후 8:26 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

3. 2026년 7월 29일 오후 8:33 UTCresolved

   우리는 확인 및 문제 수정. 이 페이지는 현재 예상대로 렌더링되며, 모니터가 계속됩니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 2일 오후 2:03 UTCinvestigating

   We are currently investigating an issue that is causing the Envoy dashboard to be unavailable. Our team is working to identify the root cause. We apologize for the inconvenience and appreciate your patience while our team works on restoring the functionality. For any further questions, please contact Envoy Support via [email protected]

2. 2026년 7월 2일 오후 2:04 UTCinvestigating

   We are continuing to investigate this issue.

3. 2026년 7월 2일 오후 2:20 UTCresolved

   Resolved: The dashboard outage has been resolved. Dashboard access and functionality have been restored, and users should now be able to load dashboards and perform dashboard-related actions normally.

1. 2026년 7월 2일 오후 12:46 UTCinvestigating

   우리는 현재 이메일이 전달되지 않는 문제가 있습니다. 우리의 팀은 적극적으로 투자하고 우리가 더 많은 것을 배우기로 업데이트를 공유합니다.

2. 2026년 7월 2일 오후 2:14 UTCinvestigating

   이 문제를 조사하고 있습니다.

3. 2026년 7월 2일 오후 2:19 UTCresolved

   해결 : 이메일 배달 문제는 해결되었습니다. 전자 메일은 이제 성공적으로 전송되고 사용자는 예상대로 새로운 이메일 알림을 받게됩니다.

4. 2026년 7월 15일 오후 9:35 UTCpostmortem

   7 월 2, 2026, 약 1:30 AM PDT 시작, 알림 서비스는 급성 상태에 입력, 긴급 알림의 배송 지연, 회의 초대 및 기타 거래 메시지. 최근 소프트웨어 업데이트는 outgoing 메시지를 올바르게 처리하고 여러 시간 동안 구축 된 중요한 backlog에서 서비스를 방지하는 구성 오류를 도입했습니다. 모니터링은 보고서에 도착한 후 짧은 문제를 잡았고, 이전에 안정적인 버전으로 돌아올 때 엔지니어링이 해결되었습니다. 모든 누적 알림은 오전 7시 13분에 전달되었습니다. 내부 post-mortem는 사건과 주의 중요한 학습 및 활동 품목을 분석하기 위해 조직되었습니다. 궁금한 사항이 있거나 추가 정보가 필요하시면 [[email protected]](mailto:[email protected])을 통해 고객 지원팀에 연락하거나 전용 계정 관리자에게 연락하십시오.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 6월 22일 오후 2:35 UTCinvestigating

   We are currently investigating a low amount of elevated errors on dashboard.envoy.com.

2. 2026년 6월 22일 오후 2:47 UTCresolved

   This incident has been resolved.

1. 2026년 6월 11일 오후 1:51 UTCinvestigating

   We are currently investigating an issue that is causing the Envoy dashboard to be unavailable. Our team is working to identify the root cause. We apologize for the inconvenience and appreciate your patience while our team works on restoring the functionality. For any further questions, please contact Envoy Support via [email protected]

2. 2026년 6월 11일 오후 2:15 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 2026년 6월 11일 오후 3:00 UTCresolved

   This incident has been resolved.

4. 2026년 6월 15일 오후 5:18 UTCpostmortem

   On June 11, 2026, at around 6:37 AM PDT, a backend database reached its storage capacity, causing the customer dashboard and mobile applications to become unresponsive. The outage was caused by a data synchronization task that failed to clear old logs, leading to a steady buildup that eventually saturated the database volume. Our engineering team restored service by manually expanding the database storage and clearing the stalled synchronization task to reclaim space. While the dashboard recovered quickly, mobile app access was restored shortly after once the system status was fully cleared. We have since implemented more aggressive alerting for database storage levels to ensure our teams are paged immediately if a similar buildup occurs.  An internal post-mortem has been organized to analyze the incident and note key learnings and action items. If you have any questions or require additional information, please don't hesitate to contact our Customer Support team via [[email protected]](mailto:[email protected]) or contact your dedicated account manager.

1. 2026년 5월 11일 오후 5:35 UTCinvestigating

   We are currently investigating an issue causing intermittent slow performance with the Envoy dashboard. Some users may experience delays or difficulty accessing certain features. Our team is actively working to identify the root cause and implement a fix. We apologize for the inconvenience and appreciate your patience while we work to restore full functionality. For any further questions, please contact Envoy Support via [email protected]

2. 2026년 5월 11일 오후 6:02 UTCinvestigating

   We are continuing to investigate this issue.

3. 2026년 5월 11일 오후 6:03 UTCresolved

   This incident has been resolved.

4. 2026년 5월 15일 오후 7:42 UTCpostmortem

   On May 11 at around 10:21 AM PDT, a scheduled background job combined with high traffic patterns pushed our application database past its capacity, causing a performance bottleneck that made the Envoy Dashboard slow and unresponsive. Our team identified the responsible job and optimized and scaled the database to restore dashboard performance. An internal post-mortem has been organized to analyze the incident and note key learnings and action items. If you have any questions or require additional information, please don't hesitate to contact our Customer Support team via [[email protected]](mailto:[email protected]) or contact your dedicated account manager.

1. 2026년 5월 8일 오전 1:16 UTCinvestigating

   We are currently looking into the issue to identify the root cause.

2. 2026년 5월 8일 오전 1:40 UTCmonitoring

   The issue has been identified, and we’re seeing improvements across all product functionality.

3. 2026년 5월 8일 오전 1:53 UTCmonitoring

   We are continuing to monitor for any further issues.

4. 2026년 5월 8일 오전 3:17 UTCresolved

   This incident has been resolved.

5. 2026년 5월 21일 오전 1:39 UTCpostmortem

   On May 7, 2026, at around 5:36 PM PDT, a thermal event at an AWS data center caused a power loss to the hardware in one of the regions where we host our database. AWS continued to report the database as healthy despite it being unavailable, causing our application to repeatedly attempt connections to an unreachable database, which brought the Envoy Dashboard down. Our team restored service by rerouting database traffic to a healthy region. An internal post-mortem has been organized to analyze the incident and note key learnings and action items. If you have any questions or require additional information, please don't hesitate to contact our Customer Support team via [[email protected]](mailto:[email protected]) or contact your dedicated account manager.

1. 2026년 3월 12일 오후 2:51 UTCinvestigating

   We are investigating issues impacting auto-sign in.

2. 2026년 3월 12일 오후 3:13 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2026년 3월 12일 오후 4:01 UTCresolved

   This incident has been resolved.

4. 2026년 5월 18일 오후 7:16 UTCpostmortem

   On March 11 at around 11:24 AM PST, an authentication issue caused sign-in events from integrations like WiFi, badge readers, and SSO to be queued instead of processed. Our team resolved the issue and replayed the queued events to ensure all impacted data was recovered. An internal post-mortem has been organized to analyze the incident and note key learnings and action items. If you have any questions or require additional information, please don't hesitate to contact our Customer Support team via [[email protected]](mailto:[email protected]) or contact your dedicated account manager.

1. 2026년 1월 27일 오후 4:50 UTCinvestigating

   We are currently investigating the issue.

2. 2026년 1월 27일 오후 5:34 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 2026년 1월 27일 오후 5:34 UTCmonitoring

   We are continuing to monitor for any further issues.

4. 2026년 1월 27일 오후 5:59 UTCresolved

   This incident has been resolved.

1. 2026년 1월 27일 오후 4:47 UTCresolved

   We are currently experiencing slower loading time with our Maps. Our engineering team is currently investigating the root cause of the issue.

1. 2026년 1월 26일 오후 4:55 UTCinvestigating

   We are currently investigating this issue.

2. 2026년 1월 26일 오후 4:56 UTCinvestigating

   We are continuing to investigate this issue.

3. 2026년 1월 26일 오후 5:59 UTCresolved

   We are currently experiencing slower loading time with our . Our engineering team is currently investigating the root cause of the issue.

1. 2026년 1월 23일 오후 11:07 UTCinvestigating

   We are currently investigating issues related to Visitors device connectivity that may be impacting badge printing functionality for some customers. Our team is actively working to identify the root cause and assess for a resolution; updates will be shared as more information becomes available. We appreciate your understanding - for any additional questions or feedback, please contact the Customer Support team via live chat or [email protected]!

2. 2026년 1월 24일 오전 2:24 UTCinvestigating

   We continue to investigate reports of customers experiencing difficulties printing badges in the Envoy Kiosk App. Our team has identified a potential code issue that may be contributing to this behavior and is working to confirm the root cause. We will provide another update as soon as we have more information.

3. 2026년 1월 25일 오전 2:35 UTCmonitoring

   Envoy Kiosk v5.59.0 has been released to the App Store with changes aimed at stabilizing the printer functionality issues. We are monitoring the situation to confirm the fix is working as expected.

4. 2026년 1월 28일 오후 10:32 UTCresolved

   The issue has been resolved, and printer functionality has been stable with the new update.

1. 2026년 1월 16일 오후 12:58 UTCinvestigating

   We are currently investigating this issue.

2. 2026년 1월 16일 오후 1:21 UTCidentified

   Team has identified the problem and is working on the solution.

3. 2026년 1월 16일 오후 1:43 UTCmonitoring

   A fix has been deployed, and room devices are gradually returning online.

4. 2026년 1월 16일 오후 2:43 UTCresolved

   The issue has been resolved. Rooms devices are up and running and Envoy dashboard is operational.

1. 2026년 1월 15일 오후 5:41 UTCresolved

   Engineers have identified the root cause and deployed the fix. The issue was fully resolved at 9:35am

1. 2026년 1월 2일 오후 5:57 UTCinvestigating

   We are currently investigating this issue.

2. 2026년 1월 2일 오후 7:43 UTCinvestigating

   We are continuing to investigate this issue.

3. 2026년 1월 2일 오후 7:45 UTCmonitoring

   We have deployed version 4.55.2 of the Envoy Visitors Kiosk to the App Store. Updating to this version of the app should fix the problem.

4. 2026년 1월 3일 오전 12:17 UTCmonitoring

   We are continuing to monitor for any further issues.

5. 2026년 1월 3일 오전 12:18 UTCresolved

   This incident has been resolved.

1. 2025년 12월 5일 오전 9:03 UTCinvestigating

   We are seeing elevated error rates on attempting to access the Envoy site. We are currently investigating issues with Cloudflare: https://www.cloudflarestatus.com/incidents/lfrm31y6sw9q We will update when we have more information.

2. 2025년 12월 5일 오전 9:09 UTCinvestigating

   We are continuing to investigate this issue.

3. 2025년 12월 5일 오전 9:14 UTCmonitoring

   We are seeing some portions of the site recover.

4. 2025년 12월 5일 오전 9:19 UTCmonitoring

   We are seeing the site recover to full operational status. We will continue monitoring.

5. 2025년 12월 5일 오전 9:32 UTCresolved

   This incident has been resolved.

1. 2025년 11월 17일 오후 4:16 UTCinvestigating

   We are experiencing issues with our Slack integration. Both installation and notification sending via Slack are currently unavailable.

2. 2025년 11월 17일 오후 4:22 UTCidentified

   We have identified the issue and provided a fix.

3. 2025년 11월 17일 오후 4:26 UTCresolved

   The issue with our Slack integration has been resolved. Customers should now be able to install Slack on Envoy and use the notification feature.