Cytracom 장애 기록

1. 2026년 9월 6일 AM 3:09 UTCinvestigating

   ControlOne의 관리 포털 및 장치 관리 API가 평소보다 천천히 요청할 수 있는 문제점을 조사하고 있습니다. 관리 포털은 응답하지 않을 수 있으며 ControlOne Agents는 연결 문제를 해결할 수 있습니다.

2. 2026년 9월 6일 AM 3:24 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

3. 2026년 9월 6일 AM 3:39 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

4. 2026년 9월 6일 AM 5:05 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 2일 PM 6:48 UTCinvestigating

   우리는 현재 몇몇 고객을 위한 inbound 통화에 영향을 미치는 문제점을 조사하고 있습니다. 우리의 업스트림 서비스 제공 업체 중 하나에 영향을 미치는 섬유 네트워크 실패와 관련이 있습니다. 우리의 팀은 복구를 모니터링하고 가능한 한 빨리 정상적인 인바운드 호출을 복원하는 공급자와 적극적으로 협력합니다. 아웃바운드 호출 (이 공급자를 통해 경로가없는) 및 기타 서비스는 현재 영향을받지 않습니다. 더 많은 정보로 추가 업데이트를 제공할 것입니다.

2. 2026년 9월 2일 PM 7:08 UTCinvestigating

   이 문제를 조사하고 있습니다.

3. 2026년 9월 2일 PM 7:58 UTCidentified

   우리는 고객의 하위 세트에 영향을 미치는 Intermittent inbound 전화 방울의 소스를 확인했습니다. 우리의 업스트림 음성 캐리어는 음성 트래픽의 일부에 패킷 손실을 일으키는 네트워크 사건을 확인했습니다. 이것은 인바운드 호출에 결과가 간헐적으로 연결 후 링에 실패하거나 곧 떨어지는. 우리의 운반대는 정상적인 전화 행동을 복원하는 활발한 일이고, 우리는 영향 받은 계정의 맞은편에 밀접한 감시 전화 질입니다. 우리는 더 많은 정보를 갖는 것과 같이 갱신을 제공할 것입니다.

4. 2026년 9월 3일 PM 1:49 UTCmonitoring

   우리의 업스트림 캐리어는 예상 통화 행동을 관찰하고 안정성을 모니터링 할 것입니다.

5. 2026년 9월 3일 PM 6:58 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 2일 PM 4:07 UTCinvestigating

   우리는 현재 미국 남서부 (LAX) 지역에서 부분 서비스 토론을 조사하고 있습니다. 몇몇 고객은 정상적인 지연 및 간헐적인 연결 보다는 높이 경험하고 있습니다.

2. 2026년 9월 2일 PM 7:49 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 9월 3일 PM 12:54 UTCresolved

   남부 캘리포니아의 여러 지역 캐리어 네트워크 경로에 영향을 미치는 제 3 자 섬유 컷은 수리되었으며 서비스는 복원되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 28일 PM 5:29 UTCinvestigating

   우리는 현재 미국 남동 (ATL) 지역의 부분적인 서비스 토론을 투자하고 있습니다.

2. 2026년 8월 28일 PM 7:57 UTCmonitoring

   Impacted workloads는 교체적인 compute 주인에 rescheduled 이고 우리는 결과를 감시하고 있습니다. 영향 받은 하드웨어는 영향을받는 물리적 구성 요소에 대한 치료 조치를 취할 것입니다.

3. 2026년 8월 28일 PM 11:36 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 19일 PM 12:44 UTCinvestigating

   우리는 현재 미국 남서부 (LAX) 지역의 일부 서비스 토론을 조사하고 있습니다.

2. 2026년 8월 19일 PM 1:18 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 8월 19일 PM 5:10 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 14일 PM 12:33 UTCidentified

   We have identified an issue affecting ControlOne Agent geolocation services. Agents may intermittently fail a location in the portal, or fail a device posture check that requires a location fix. As a workaround partners can remove geolocation from the policy.

2. 2026년 8월 14일 PM 12:47 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 2026년 8월 14일 PM 2:34 UTCresolved

   This incident has been resolved.

1. 2026년 8월 13일 PM 8:10 UTCinvestigating

   현재 ControlOne Sites의 하위 설정에 대한 문제점을 조사하여 ControlOne Portal의 잘못된 ISP 상태를 보고합니다. 이것은 시각적 문제 만이며 사이트 연결에 영향을 미치지 않습니다.

2. 2026년 8월 13일 PM 9:06 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2026년 8월 13일 PM 10:09 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2026년 8월 14일 AM 2:22 UTCresolved

   This incident has been resolved.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 11일 PM 1:29 UTCinvestigating

   우리는 현재 미국 남동 (ATL) 지역에서 부분적 서비스 토론을 조사하고 있습니다.

2. 2026년 8월 11일 PM 4:55 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 2026년 8월 11일 PM 7:47 UTCresolved

   This incident has been resolved.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 7일 PM 9:18 UTCidentified

   We are investigating an issue that is causing ControlOne's Management portal and device management API to respond to configuration changes more slowly than usual. The management portal may appear unresponsive until this clears.

2. 2026년 8월 7일 PM 9:57 UTCresolved

   This incident has been resolved.

1. 2026년 7월 30일 PM 6:10 UTCidentified

   우리는 인바운드 및 아웃바운드 통화 실패에 영향을 미치는 문제를 조사하고 있습니다. 우리는 이 문제점을 일으키는 잘못된 윤곽을 발견했습니다. 우리는 해결에 노력하고 곧 업데이트됩니다.

2. 2026년 7월 30일 PM 6:16 UTCmonitoring

   수정이 시행되었고, 호출은 평소처럼 흐릅니다. 우리는 다른 문제에 대한 밀접한 모니터링입니다.

3. 2026년 7월 30일 PM 9:25 UTCresolved

   이 사건은 해결되었습니다. 자동화된 config 관리가 선언된 유지관리 창 밖에서 트리거되지 않습니다. 우리는 이것에 기인한 붕괴를 위해 사과합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 30일 PM 3:36 UTCinvestigating

   우리는 미국 남부 중앙 ControlOne 지역에서 고객의 하위 세트에 대한 부분적 서비스 토론을 일으키는 문제를 발견했습니다. ControlOne Bridge는 간헐적인 연결을 경험할 수 있습니다. ControlOne Agents는 Intermittent 연결 또는 "Retrying"상태를 경험할 수 있습니다

2. 2026년 7월 30일 PM 4:07 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 7월 30일 PM 9:55 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 21일 PM 1:44 UTCinvestigating

   우리는 US-Southeast ControlOne 지역의 고객에게 15 %의 하위 세트에 대한 부분 서비스 평가를 일으키는 문제를 발견했습니다. ControlOne Bridge는 간헐적인 연결을 경험할 수 있습니다. ControlOne Agents는 Intermittent 연결 또는 "Retrying"상태를 경험할 수 있습니다

2. 2026년 7월 21일 PM 2:12 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

3. 2026년 7월 22일 AM 4:12 UTCresolved

   이 사건은 해결되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 9일 PM 5:53 UTCinvestigating

   One of the servers in our fleet experiencing network connectivity issues and our engineering team is investigating. If you are in that server, you may experience intermittent call failures. We will resolve this quickly and thanks for your patience.

2. 2026년 7월 9일 PM 5:55 UTCmonitoring

   We restarted the network interface and the calls should flow as usual. Thanks for your patience during this issue.

3. 2026년 7월 9일 PM 6:05 UTCresolved

   This incident has been resolved.

1. 2026년 7월 7일 PM 5:17 UTCinvestigating

   We are currently investigating an issue causing partial inbound and outbound call failures for some customers. Affected users may experience failed call attempts, delayed call setup, or intermittent call completion issues. The issue does not appear to impact all calls or all customers. Our engineering team is actively investigating and working to restore full calling functionality. We will provide additional updates as more information becomes available.

2. 2026년 7월 7일 PM 5:35 UTCmonitoring

   We have taken corrective action to address the partial inbound and outbound call failures affecting some customers. A small number of call processing servers were restarted to restore normal call flow. Call traffic has recovered, and we are currently monitoring the platform to confirm continued stability. Some users may have experienced failed call attempts, delayed call setup, or intermittent call completion issues during the incident. We will continue monitoring and provide a final update once the issue is fully resolved.

3. 2026년 7월 7일 PM 9:48 UTCresolved

   The issue causing partial inbound and outbound call failures has been resolved. Corrective action was taken by restarting a small number of call processing servers, which restored normal call flow. After continued monitoring, inbound and outbound calling have remained stable. Some customers may have experienced failed call attempts, delayed call setup, or intermittent call completion issues during the incident window. We apologize for the disruption and appreciate your patience while our team worked to restore service.

1. 2026년 6월 29일 PM 3:24 UTCinvestigating

   We are currently investigating an issue affecting the Realtime Call Center dashboard. Call center event processing is delayed due to a backlog in the event processing service, which may cause dashboard status, agent state, and call activity updates to appear stale or delayed. Inbound and outbound calling are not impacted. Calls continue to route and complete normally. Our team is working to restore realtime event processing and will provide updates as we make progress.

2. 2026년 6월 29일 PM 4:33 UTCidentified

   **Update: Realtime Call Center Dashboard Delays** We have identified the issue affecting the Realtime Call Center dashboard. A backend event processing service became degraded due to a high volume of invalid messages, which caused call center status updates to be delayed. A fix has been implemented, and queued events are now being processed. The dashboard may continue to show delayed or stale status information while the backlog clears. Inbound and outbound calling remain unaffected. Calls continue to route and complete normally. We expect the Realtime Call Center dashboard to be current within the next hour.

3. 2026년 6월 29일 PM 5:02 UTCmonitoring

   Queued events are now processing concurrently, and the Realtime Call Center dashboard is recovering. Due to the backlog and out-of-sequence event processing during recovery, some dashboards may show incorrect call-waiting counts for today. We are working to correct these values where possible. Inbound and outbound calling remain unaffected. Calls continue to route and complete normally. Realtime dashboard activity is expected to normalize as event processing catches up. Daily dashboard statistics should display as usual starting tomorrow.

4. 2026년 6월 30일 AM 7:45 UTCresolved

   This issue has been resolved.

1. 2026년 6월 10일 PM 6:43 UTCidentified

   We are currently experiencing a backlog in our call event processing system, which may cause delays in event-related updates. This may impact CDR processing, BLF status updates, and voicemail arrival indicators. Inbound and outbound calling remain operational, and voicemail delivery is not impacted. Our team is actively working to clear the backlog and will continue to monitor the system.

2. 2026년 6월 10일 PM 8:50 UTCmonitoring

   We have identified and corrected the issue. Call Detail Records (CDRs) in Insights during the incident will be available within next 12 hours. New events are processing normally and are not expected to experience delays. Inbound and outbound calling, voicemail delivery, and new CDR processing are not impacted at this time. We will continue monitoring until the backlog is fully cleared.

3. 2026년 6월 11일 AM 11:34 UTCresolved

   All backlog Call Details Records have been processed. This issue is now resolved.

1. 2026년 6월 9일 PM 8:32 UTCidentified

   We are currently experiencing a backlog in our call event processing system, which may cause delays in event-related updates. This may impact CDR processing, BLF status updates, and voicemail arrival indicators. Inbound and outbound calling remain operational, and voicemail delivery is not impacted. Our team is actively working to clear the backlog and will continue to monitor the system.

2. 2026년 6월 9일 PM 9:44 UTCmonitoring

   We have identified and corrected the issue that caused a backlog in our event processing pipeline. The issue was related to a failed event consumer, which has now been restarted, and queued messages are processing successfully. Some Call Detail Records (CDRs) in Insights may continue to be delayed for the next few hours while the CDR processor catches up on previously delayed events. New events are processing normally and are not expected to experience delays. Inbound and outbound calling, voicemail delivery, and new CDR processing are not impacted at this time. We will continue monitoring until the backlog is fully cleared.

3. 2026년 6월 10일 AM 2:04 UTCresolved

   The backlog processing has been completed. This issue is now resolved.

1. 2026년 6월 3일 PM 3:10 UTCinvestigating

   We are currently investigating an issue causing intermittent inbound and outbound call failures for some customers. Our engineering team is actively working to identify the root cause and restore normal call processing. We will provide an update as soon as more information is available.

2. 2026년 6월 3일 PM 3:49 UTCmonitoring

   We have identified and mitigated the issue that caused intermittent call setup failures for some customers. The issue was related to a degraded backend component that impacted call processing on a subset of voice infrastructure. Our engineering team applied corrective action, and calls are now processing normally. We are continuing to monitor the platform closely to ensure stability.

3. 2026년 6월 4일 AM 4:06 UTCresolved

   This incident has been resolved.

1. 2026년 6월 2일 PM 4:11 UTCinvestigating

   We are currently investigating intermittent inbound and outbound call failures affecting some customers. Our team is actively working to identify the issue and will provide updates as they become available.

2. 2026년 6월 2일 PM 4:49 UTCmonitoring

   We identified an issue affecting call processing on a subset of voice servers, which resulted in intermittent inbound and outbound call failures for some customers. Our engineering team applied corrective action, and call processing has returned to normal. We are continuing to monitor the platform closely to ensure stability.

3. 2026년 6월 2일 PM 8:56 UTCmonitoring

   The issue causing intermittent inbound and outbound call failures has been resolved. Our engineering team identified a capacity constraint in a backend call processing service and applied corrective action. Calls are now processing normally, and the platform remains stable.

4. 2026년 6월 2일 PM 8:57 UTCresolved

   This incident has been resolved.

1. 2026년 5월 29일 PM 6:41 UTCidentified

   We have identified that our third-party CNAM provider is not responding within our required performance thresholds. To prevent call completion delays or failures, we are temporarily bypassing Caller ID name resolution for affected calls. During this time, calls may complete without a resolved caller identity or display name. Call delivery itself remains operational. Our team is working on a remediation plan and expects to implement a permanent solution within the next 72 hours. We will continue to monitor the service and provide updates as progress is made.

2. 2026년 5월 29일 PM 9:02 UTCmonitoring

   The Caller Id resolution is working as expected. We are monitoring for any further issues.

3. 2026년 5월 29일 PM 11:27 UTCresolved

   The CNAM (Caller ID) service is fully functional without any performance constraints.