Cycode 장애 기록

1. 2026년 8월 12일 PM 4:28 UTCinvestigating

   GitHub component: Pull Requests Original GitHub incident: https://stspg.io/ssd9z8l2g46v

2. 2026년 8월 12일 PM 4:42 UTCresolved

   GitHub component: Pull Requests Original GitHub incident: https://stspg.io/ssd9z8l2g46v

1. 2026년 8월 11일 PM 3:36 UTCinvestigating

   GitHub component: API Requests Original GitHub incident: https://stspg.io/3xn46bst0bjh

2. 2026년 8월 11일 PM 5:13 UTCmonitoring

   GitHub component: API Requests Original GitHub incident: https://stspg.io/3xn46bst0bjh

3. 2026년 8월 11일 PM 8:10 UTCresolved

   GitHub component: API Requests Original GitHub incident: https://stspg.io/3xn46bst0bjh

1. 2026년 8월 10일 PM 2:06 UTCinvestigating

   Customers may experience degraded performance in scans. Pull request and CLI scans may be affected.

2. 2026년 8월 10일 PM 2:21 UTCinvestigating

   The team has identified the root cause of the issue and is working on the solution.

3. 2026년 8월 10일 PM 2:47 UTCinvestigating

   The root cause has been resolved. The system began to stabilize itself, and all the scans are starting to get processed with regular performance.

4. 2026년 8월 10일 PM 3:27 UTCinvestigating

   All scan types except for SAST are fully operational. SAST continues to stabilize and will soon be fully stable.

5. 2026년 8월 10일 PM 3:45 UTCresolved

   System should be back to being fully operational.

6. 2026년 8월 11일 PM 3:59 UTCresolved

   **Root Cause** The incident was caused by a deployment of one service that ran a database index creation. The team has identified an issue with the way we perform index creations as database migrations. During a deployment the pods with newest image of the service attempted to create an index on a big table. The team has identified that the index creation took 7 minutes. However, during index creation pods were not responsive, and as a result, Kubernetes deemed them as unhealthy pods and attempted to retry those pods after 5 minutes. As a result, because the pod got killed before the index creation was fully completed, the database transaction was rolled back. Then, subsequent pods attempted to create the index again, dying after 5 minutes. This lead to the database being in unhealthy state, and the service was down. The team has rolled back the deployment, and killed all replicas that attempted to create the index. Thanks to that, the service and the database was in healthy state again. **Why safety measures did not help** Cycode provides a safety mechanism that unblocks all Pull Request scans after a specific period of time, giving each scan a maximum duration before the Pull Request is unblocked. However, because the service that is responsible for triggering and completing scans, as well as this safety net, was down, the process couldn't behave as expected. We acknowledge this gap and are working on strengthening this area of our system. **Action items** • The team is actively investigating enhancements and new safety protocols that can be put in place in order to have another safety net preventing Pull Request scans being stuck in case of any incident. • The team is investigating changes to the index creation process.

1. 2026년 8월 2일 PM 2:08 UTCinvestigating

   이전 이벤트를 재처리할 수 있는 문제점을 조사하고 있습니다. ** 중요 사항: ** 몇 가지 워크플로우가 다시 실행될 수 있습니다. 이는 중복 경고로 발생할 수 있습니다. PR 스캔도 지연 될 수 있습니다.

2. 2026년 8월 2일 PM 6:12 UTCidentified

   Kafka migration의 문제로 인해 처리 백로를 해결했습니다. 이 문제는 새로운 이벤트와 함께 처리 된 이전 이벤트에서 결과적으로 지연이 발생하고 outdated 상태와 일부 위반을 업데이트 할 수 있습니다. 일반 처리가 복원되었습니다. 그러나, 고객은 여전히 영향을받는 레코드를 식별하고 수정 한 상태와 일부 위반을 볼 수 있습니다. PR 스캔은 지연되거나 재처리되지 않았으며 워크플로우는 영향을 미치지 않았습니다. 우리는 체계의 지속적인 구제 그리고 바싹 감시입니다.

3. 2026년 8월 2일 PM 6:59 UTCmonitoring

   정상적인 처리는 복원되었습니다, 그리고 사건은 감시에서 지금 입니다. 고객의 소중한 수는 여전히 사건의 결과로 외래된 상태와 위반의 제한된 수를 볼 수 있습니다. 우리는 잠재적으로 영향을받는 환경을 식별하고 영향을받는 기록을 수정하기 위해 노력하고 있습니다.

4. 2026년 8월 3일 PM 3:25 UTCmonitoring

   시스템은 완전 조작입니다. 고객의 소중한 수는 여전히 사건의 결과로 외래된 상태와 위반의 제한된 수를 볼 수 있습니다. 우리는 잠재적으로 영향을받는 환경을 식별하고 영향을받는 기록을 수정하기 위해 노력하고 있습니다.

5. 2026년 8월 4일 AM 6:08 UTCresolved

   The platform is now fully operational and processing normally

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 27일 AM 10:31 UTCinvestigating

   이 팀은 스캔과 향상된 성능을 가진 문제를 확인했습니다. 시작, 실행 및 스캔 완료에 지연 될 수 있습니다. 모든 스캔 유형은 영향을 미칠 수 있습니다 (Pull 요청 및 CLI 검사뿐만 아니라). 팀은 배포에 대한 malfunction을 가진 문제점을 확인하고, 문제는 곧 해결되어야 합니다.

2. 2026년 7월 27일 AM 11:27 UTCmonitoring

   팀은 뿌리 원인을 확인하고 해결했습니다. 우리는 안정성으로 돌아가는 체계를 보고 있습니다.

3. 2026년 7월 27일 AM 11:57 UTCresolved

   시스템은 이제 완전히 운영되고 있습니다.

4. 2026년 7월 31일 AM 7:43 UTCresolved

   ** 루트 원인 ** 사건은 데이터베이스 마이그레이션을 ran 한 서비스의 배포에 의해 발생했습니다. 이 마이그레이션에는 잘못된 코드가 포함되어 있으며 서비스 배포를 시도 할 때 데이터베이스의 과부하로 인해 발생합니다. 결과적으로, 서비스는 부분적으로 아래로 배치가 되리기까지. 이 시간 동안, 모든 검사는 예상한 성과 보다는 더 낮은으로 가공되었습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 27일 AM 3:56 UTCinvestigating

   GitHub 구성 요소: API 요청 원래 GitHub 사건: https://stspg.io/vr201n49yl53

2. 2026년 7월 27일 AM 4:12 UTCresolved

   GitHub 구성 요소: API 요청 원래 GitHub 사건: https://stspg.io/vr201n49yl53

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 24일 PM 7:49 UTCinvestigating

   GitHub 구성 요소: Pull Requests 원래 GitHub 사건: https://stspg.io/sm1tp7kfm4vj

2. 2026년 7월 24일 PM 8:06 UTCmonitoring

   GitHub 구성 요소: Pull Requests 원래 GitHub 사건: https://stspg.io/sm1tp7kfm4vj

3. 2026년 7월 24일 PM 8:26 UTCresolved

   GitHub 구성 요소: Pull Requests 원래 GitHub 사건: https://stspg.io/sm1tp7kfm4vj

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 24일 PM 5:45 UTCinvestigating

   IaC Pull Request Scan의 성능 향상 우리는 문제를 해결하고 있습니다.

2. 2026년 7월 24일 PM 6:54 UTCidentified

   우리는 느린의 뿌리 원인을 확인하고 장소에 카운터 측정을 넣어.

3. 2026년 7월 24일 PM 8:35 UTCmonitoring

   감속기에 주도하는 래그는 거의 위에 있습니다. 우리는 상황을 감시하고 있습니다.

4. 2026년 7월 24일 PM 9:58 UTCresolved

   문제는 해결되었습니다. 우리는 상황을 모니터링하고 있습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 24일 PM 5:35 UTCinvestigating

   GitHub 구성 요소: API 요청, 풀 요청 원래 GitHub 사건: https://stspg.io/j5c80shxqm53

2. 2026년 7월 24일 PM 5:40 UTCresolved

   GitHub component: API Requests, Pull Requests Original GitHub incident: https://stspg.io/j5c80shxqm53

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 23일 AM 7:58 UTCinvestigating

   GitHub 구성 요소: Webhooks 원래 GitHub 사건: https://stspg.io/syhr80rth84z

2. 2026년 7월 23일 AM 9:32 UTCinvestigating

   GitHub 구성 요소: Webhooks, Pull 요청 원래 GitHub 사건: https://stspg.io/syhr80rth84z

3. 2026년 7월 23일 AM 9:39 UTCresolved

   GitHub 구성 요소: Webhooks, Pull 요청 원래 GitHub 사건: https://stspg.io/syhr80rth84z

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 16일 PM 6:56 UTCmonitoring

   **1:41** PM EDT에서, 우리는 플랫폼 UI에서 처리하는 요청시 오류율을 높였습니다. 문제는 신속하게 mitigated, 플랫폼은 일반적으로 작동된다. 우리의 팀은 지속적으로 서비스 안정성을 보장하기 위해 플랫폼을 모니터링합니다.

2. 2026년 7월 16일 PM 8:05 UTCresolved

   사건은 해결되고, 플랫폼은 일반적으로 운영됩니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 15일 PM 5:22 UTCinvestigating

   CLI Secrets 스캔의 일부가 실패했습니다. 우리는 적극적으로 문제를 완화하고있다.

2. 2026년 7월 15일 PM 5:25 UTCinvestigating

   CLI 버전 3.17.1이 잘못된 행동을 도입했다고 확인했습니다. CLI 버전을 3.17.0로 업그레이드하면 일시적으로 문제를 해결하고 루트 원인을 이해하고 해결해야 합니다.

3. 2026년 7월 15일 PM 7:07 UTCresolved

   수정이 적용되고 기능이 완전히 복원되었습니다. 우리는 모든 것을 안정적으로 유지되도록 모니터링하는 것을 계속하고 있습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 14일 PM 4:12 UTCmonitoring

   스캔로드 증가, 우리는 위반의 자동 해상도를 포함하는 위반 상태 업데이트 지연을 관찰. 급격한 증가의 근원은 mitigated이고 지연은 이미 감소됩니다. 우리는 우리가 정상으로 돌아가기까지 상황을 감시할 것입니다

2. 2026년 7월 14일 PM 9:23 UTCresolved

   우리는 검출 처리 및 위반 상태 업데이트에 관련된 지연을 모니터링하기 위해 계속됩니다 (자동 해상도 포함)

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 13일 AM 8:47 UTCinvestigating

   우리는 다수 체계 성분에 있는 degraded 성과가 있습니다. 우리는 모든 영향을받는 구성 요소를 식별하고 루트 원인을 식별합니다.

2. 2026년 7월 13일 AM 8:52 UTCinvestigating

   응용 UI의 여러 구성 요소에 degraded 성능을 발견했습니다. 스캔뿐만 아니라 풀 요청 및 CLI 스캔도 영향을 미칠 수 있습니다.

3. 2026년 7월 13일 AM 9:58 UTCidentified

   Redis Timeout 비율을 관찰하고 있습니다. Redis 클러스터 용량을 스케일링하고 충격을 완화하고 안정적인 서비스 성능을 복원합니다

4. 2026년 7월 13일 AM 10:36 UTCmonitoring

   지역은 회복되고 일반적으로 운영됩니다. 우리는 지속적으로 안정성을 보장하기 위해 긴밀한 모니터링 시스템 성능

5. 2026년 7월 13일 PM 12:36 UTCresolved

   시스템은 이제 완전히 운영됩니다. 더 향상된 성능이 없습니다. ** 일정 ** 우리는 응용 인터페이스 및 풀 요청 (PR) 스캔을 포함하여 EU 지역의 다양한 시스템 기능에 영향을 미치는 느린 및 간헐적 인 타임 아웃의 기간을 관찰했습니다. 이 문제는 주로 네트워크 및 메모리 용량 제한에 도달하는 처리 시스템에 의해 발생, 단일 소스에서 자동화 된 활동의 높은 볼륨에 의해 배전. 우리는 인프라를 업그레이드하고 시스템에 영향을 미치는 것과 같은 높은 볼륨 활동을 방지하기 위해 안전한 가드를 구현했습니다. 문제는 이제 완전히 해결되고 모든 서비스는 예상되는 성능 수준으로 돌아 왔습니다. **키 타임라인 (IDT)** • ** 7월 13, 2026, 11:44 IDT**: UI 감속성 및 PR 검사 지연에 대한 다음과 같은 보고서를 발견했습니다. • ** 7월 13, 2026, 12:19 IDT**: Infrastructure Bottleneck 식별; 처리 클러스터를 업그레이드하기 위해 결정. • ** 7월 13, 2026, 12:26 IDT**: 높은 볼륨 자동화 프로세스는 즉각적인 부하를 줄이기 위해 식별 및 비활성화되었습니다. • ** 7월 13, 2026, 13:09 IDT**: 인프라 업그레이드 완료; 네트워크 처리량은 정상 수준으로 돌아갑니다. • ** 7월 13, 2026, 15:35 IDT**: 모든 backlogs는 명확하고, 사건은 공식적으로 해결되었습니다. ** 루트 원인 ** 이 사건은 요인의 조합에 의해 방아쇠를 이었습니다: 처리 클러스터는 현재 workload를 위한 undersize 윤곽 때문에 그것의 최대 네트워크 대역폭 및 기억 수용량을 도달했습니다. 이것은 특정 자동화 된 작업 흐름에 의해 더 변형되었습니다. 또한 EU 지역의 메시지 처리 파이프 라인의 구성 차이는 효과적으로 결과 백로를 처리하는 시스템을 방지했습니다. **Actions Taken ** • ** 업그레이드 된 인프라 ** : 처리 클러스터는 더 높은 용량 인스턴스 유형에 업그레이드하여 더 많은 네트워크 대역폭과 메모리를 제공합니다. • **Disabled High-Volume Source**: 과도한 트래픽에 대한 특정 클라이언트 식별자는 시스템 안정성을 복원하는 일시적으로 비활성화되었습니다. •**Restored Connectivity**: Affected 서비스 구성품은 업그레이드된 인프라에 깨끗한 연결을 재구성하기 위해 다시 시작되었습니다. • **Increased 처리 평행 **: 영향을받는 메시지 큐의 파티션의 수는 backlog를 더 빨리 처리하는 시스템을 허용하기 위해 증가했다. **Action 항목** • **Enhance Monitoring**: 네트워크 및 메모리 활용에 대한 새로운 알림을 구현하여 고객에게 영향을 미치는 전 용량 문제를 감지합니다. • ** 업데이트 워크 플로우 최적화 **: 일괄 처리 요청에 상태 업데이트 프로세스를 다시 설정, 크게 처리 시스템에 부하를 감소. • **Implement Rate Limiting**: 컨템포러리 시스템 리소스에서 단일 소스를 방지하기 위해 안전한 가드를 도입합니다. • **Standardize Regional Configurations**: 인프라 및 메시지 큐 설정을 보장하는 감사는 모든 지역에서 일관성.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 9일 AM 10:54 UTCmonitoring

   우리는 ** inaccurate Viol counts** in**some** 제품 대시보드 및 사용자 지정 대시보드 패널에서 발생할 수 있는 문제점을 식별했습니다. (모든 대시보드가 영향을받지 않음). 우리는 이미 올바른 일을 시작했지만, 완전히 완료 할 시간이 걸릴 것입니다. 그리고 당신은 데이터로 계산을 볼 수 있습니다. 수정이 완료되면 다른 업데이트를 공유하고 데이터 정확성이 완전히 복원됩니다.

2. 2026년 7월 12일 PM 3:09 UTCmonitoring

   우리는 일부 제품 및 사용자 정의 대시보드에 영향을 미치는 inaccurate 위반 수를 수정하는 중요한 진행을했습니다. • **현재 상태:** 수정은 많은 계정에서 성공적으로 완료되었으며 전체 데이터 정확도가 복원되었습니다. •**다음 단계:** 우리는 적극적으로 남아있는 계정의 작은 숫자에 대한 문제를 해결하고 있습니다.

3. 2026년 7월 17일 PM 4:58 UTCresolved

   Functionality는 완전히 회복됩니다; 우리는 모든 것을 지키는 것을 지키는 것을 계속합니다 안정되어 있습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 9일 AM 9:07 UTCinvestigating

   우리는 현재 Maestro Risk Explorability, Risk AI Remediation, Maestro Remediation 및 Graph AI 서비스에 영향을 미치는 문제점을 조사하고 있습니다.

2. 2026년 7월 9일 AM 10:13 UTCidentified

   Maestro AI 서비스에 영향을 미치는 방화벽 구성 문제를 확인했습니다. 구성이 업데이트되었으며 영향을받는 서비스는 복구되었습니다. 우리는 상황을 감시하고 더 안정화에 일하고 있습니다. 일부 등급의 성능은 여전히 우리가 추가 개선을 완료하는 동안 관찰 될 수있다.

3. 2026년 7월 9일 AM 10:39 UTCresolved

   Maestro AI 서비스에 영향을 미치는 문제는 해결되었습니다. Maestro Risk Explorability, Risk AI Remediation, Maestro Remediation 및 Graph AI는 현재 사용 가능 하 고 정상적으로 작동. ** 일정 ** 7 월 9 일, 2026 년 유럽 생산 환경에서 마에스트로 서비스를 사용하는 고객은 서비스 무해성을 경험했습니다. 이 문제는 inadvertently가 서비스의 지역 라우팅을 변경하는 구성 업데이트에 따라 시작되었습니다. 이 시스템은 필요한 권한이 부족한 네트워크 경로를 통해 연결을 시도하고 특정 처리 모델이 사용할 수없는 지역에. 문제는 완전히 해결되고, 서비스는 모든 영향을받는 고객에게 복원되었습니다. **키 타임라인 (IDT)** • ** 7월 9, 2026, 12:02 IDT:** 사건이 확인되었고 조사가 시작되었습니다. • ** 7월 9, 2026, 12:07 IDT:** 서비스 중단에 대한 공개 알림이 발행되었습니다. • ** 7 월 9, 2026, 13 : 00 IDT : ** 네트워크 설정 수정이 적용되었습니다, 1 차 연결 복원. • ** 7 월 9, 2026, 13 : 39 IDT : ** 이 웹 사이트는 애플 리케이션에 전념. 우리는 정품 앱과 게임을 제공 할 목적으로이 사이트를 만들었습니다. 4AppsApk 최고의 안드로이드 애플 리케이션을위한 무료 APK 파일 다운로드 서비스입니다. ** 루트 원인 ** 서비스 중단은 인증 및 구성 프로세스에 대한 최근 업데이트에 의해 트리거되었습니다. 이 업데이트는 운영 영역을 확인하는 방법에 충돌을 도입했습니다. 특히 자동화된 업데이트 프로세스 오버로드 수동 설정, 다른 지역 엔드포인트에 트래픽을 라우팅. 이 새로운 경로는 누락된 네트워크 보안 규칙에 의해 차단되고 그 특정 지역에서 지원되지 않은 처리 모델을 사용하려고 시도, 서비스 실패를 선도. **Actions Taken ** • ** 네트워크 연결성 복원 : ** 새로운 지역 엔드포인트를 통해 안전한 트래픽을 허용하는 수동으로 업데이트 된 네트워크 보안 규칙. • **Implemented 모델 Fallbacks:** 긴 기간의 지역 구성이 조정된 동안 대체 처리 모델을 사용하기 위해 시스템을 구성했습니다. • ** 업데이트 된 상태 통신 : ** 복구 프로세스를 통해 주주 및 고객을위한 실시간 업데이트 유지. **Action 항목** • ** 구성을 표준화:** 자동 프로세스를 방지하기 위해 배포 워크플로우를 업데이트합니다. • **Infrastructure 감사:** 모든 지역에서 네트워크 보안 규칙의 포괄적 인 검토를 수행하여 일관성을 확보하고 유사한 연결 갭을 방지합니다. • ** 자동 모니터링:** end-to-end 건강 검사 및 합성 조사를 구현하여 지역 연결 문제를 자동으로 탐지합니다. • ** 배포 정책 : ** 새로운 지침을 수립하여 구성 변경이 배포되고 검증된 환경은 더 자주 "stale" 업데이트의 위험을 줄이기 위해.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 6일 PM 12:52 UTCinvestigating

   We are experiencing delays in infrastructure provisioning caused by cloud provider API rate limiting. We are actively investigating the issue with our cloud provider.

2. 2026년 7월 6일 PM 1:03 UTCinvestigating

   Please refer to the AWS Health Status page for details on the related incident: [https://health.aws.amazon.com/health/status](https://health.aws.amazon.com/health/status "https://health.aws.amazon.com/health/status")

3. 2026년 7월 6일 PM 1:32 UTCmonitoring

   Mitigation: We temporarily scaled up the managed node group to get pods scheduled while we wait for AWS to fully resolve the underlying issue.

4. 2026년 7월 6일 PM 2:09 UTCmonitoring

   We are starting to see stabilization and a reduction in API errors. However, we continue to closely monitor the situation.

5. 2026년 7월 6일 PM 3:08 UTCresolved

   AWS has confirmed that the issue has been fully mitigated and we are currently not observing any related issues.

1. 2026년 7월 5일 AM 7:30 UTCinvestigating

   **투자 - Violations 및 Custom Dashboards (Prod-US) 문제 ** 우리는 현재 우리의 **Prod-US** 환경에서 문제를 조사하고 있습니다. 결과적으로, 사용자 정의 대시보드 패널은 데이터를 위반하거나 표시 오류에 실패 할 수 있습니다. 우리의 엔지니어링 팀은 뿌리 원인을 적극적으로 찾고 있으며, 우리는 우리가 더 많은 것을 배우기 위해 여기에 업데이트를 제공 할 것입니다. 우리는 불편을 끼쳐 드려요.

2. 2026년 7월 5일 AM 8:13 UTCmonitoring

   수정은 Prod-US의 위반 및 사용자 정의 대시보드에 영향을 미치는 문제에 대해 배포되었습니다. 우리는 적극적으로 서비스를 보장하기 위해 환경을 모니터링하고 있습니다.

3. 2026년 7월 5일 AM 9:42 UTCmonitoring

   핵심 문제는 해결되고, 위반 및 사용자 정의 대쉬보드는 현재 정상으로 작동해야합니다. 우리의 팀은 데이터 동기화를 적극적으로 모니터링하여 새로운 위반으로 남아있는 신생아를 해결합니다. sync가 완료되면 최종 업데이트가 제공됩니다.

4. 2026년 7월 5일 AM 11:44 UTCmonitoring

   UI의 새로운 위반에 대한 데이터 동기화 프로세스를 모니터링하고 있습니다. 기능 복원 된 동안, 그것은 최대 걸릴 수 있습니다 **6 시간** 모든 최근 데이터를 완전히 잡아 정확 하 게 반영. 동기화가 완료되면 최종 업데이트가 제공됩니다.

5. 2026년 7월 5일 PM 6:54 UTCresolved

   데이터 동기화가 완료되고, 모든 최근 위반은 UI에서 성공적으로 전파되었습니다. Violations 및 사용자 정의 대시보드는 일반적으로 기능을하고, 사건은 완전히 해결됩니다. 우리는 우리가 가득 차있는 서비스를 복원하기 위해 일한 대로 당신의 patience를 평가합니다.

6. 2026년 7월 17일 PM 4:56 UTCresolved

   Functionality는 완전히 회복됩니다; 우리는 모든 것을 지키는 것을 지키는 것을 계속합니다 안정되어 있습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 6월 22일 AM 10:47 UTCidentified

   We have identified the source of an issue and currently deploying the fix. At the same time we scaled our scanning platform up to accelerate scanning

2. 2026년 6월 22일 AM 11:27 UTCmonitoring

   The fix was deployed. The queue is decreasing and we're monitoring it

3. 2026년 6월 23일 PM 1:38 UTCmonitoring

   The system has processed all jobs with higher priorities. There is a queue of lower priority jobs that should not impact overall Cycode scanning performance

4. 2026년 6월 23일 PM 2:35 UTCresolved

   **Summary** During the incident, customers experienced significant delays and temporary disruptions across SAST, SCA, CCA, and Secret repository scans and push events. The issue was caused by a surge in reachability scanner jobs that overwhelmed the processing queue, compounded by scanner pods requesting excessive CPU and memory, infrastructure resource limits being reached, and inefficiencies in job prioritization and retry logic. As a result, processing capacity was improperly consumed and a large job backlog accumulated. A series of corrective updates were deployed to stabilize the environment, and the processing environment has since returned to expected performance levels. **Impact** Customers experienced delays for SAST, SCA, CCA, and Secret repository scans and push events, with some requests delayed by several hours and a peak queue size of over 64,000 jobs. Lower priority scans such as Trivy, Syft, and CCA were most affected, though high-priority jobs were eventually processed without further delay. **Key Timeline (IDT)** • **21.06.2026, 17:16 IDT**: A surge in reachability scanner jobs caused the CycodeX queue to grow rapidly. • **22.06.2026, 10:07 IDT**: The issue was identified by an on-call engineer. • **22.06.2026, 12:55 IDT**: We increased the scanning platform resources to process more jobs. • **22.06.2026, 14:10 IDT**: A fix that lowered new reachability scanners was deployed to production. • **22.06.2026, 18:43 IDT**: Existing reachability scanners' priority was lowered. • **23.06.2026, 09:12 IDT**: Scans with higher priority were processed. Only lower priority scans remained, including CCA. • **23.06.2026, 13:51 IDT**: A fix that reduced communication overload to Kubernetes was deployed. The scanning platform started processing scan jobs much faster. • **23.06.2026, 17:34 IDT**: The queue was fully processed. **Root Cause** The issue was triggered by a combination of factors: 1. **Reachability scanner job surge** -- A surge in reachability scanner jobs caused the CycodeX queue to grow rapidly, which led to resource bottlenecks in the cluster and a peak queue size of over 64,000 jobs. 2. **Excessive pod resource requests** -- Due to configuration bugs, scanner pods requested excessive CPU and memory, which prevented efficient scheduling and amplified the resource bottlenecks in the cluster. 3. **Infrastructure resource limits** -- AWS VPC subnet IP and EKS API limits were reached, restricting the cluster's ability to scale and schedule new work. 4. **Job prioritization and retry inefficiencies** -- Inefficiencies in job prioritization and retry logic meant lower priority scans (Trivy, Syft, CCA) competed for capacity and were most affected, while the backlog continued to grow. **Actions Taken** • Increased cluster and node pool capacity. • Fixed job prioritization to deprioritize reachability scans. • Capped resource requests for scanner pods to enable efficient scheduling. • Deployed additional fixes to the scanning platform. • Opened AWS support tickets to address resource limits. • Restored monitoring and logging. • Cleared the job backlog; the queue now processes new jobs as they arrive. **Action Items** • Improve monitoring to better understand the behavior of the processing environment. • Improve scanning optimization and prioritization for all scan types.

1. 2026년 6월 17일 PM 3:34 UTCinvestigating

   **Problem**: SAST (Static Application Security Testing) scans for pull requests were running slowly **Impact**: Some users experienced slow pull request scans potentially delaying code reviews and deployments.

2. 2026년 6월 17일 PM 4:14 UTCresolved

   The issue was resolved. The system is fully stable now