115 Split incidents · 2026년 4월 — official updates, affected components, duration and resolution details.
우리는 현재이 문제를 조사하고 있습니다.
VM 인프라의 CI 파이프라인은 작업이 의도한 풀 밖에 delegate로 이동하기 때문에 초기 단계에서 실패합니다
문제는 식별되고 수정이 구현됩니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
## **Summary ** 10 월 19, 2026, 약 12 : 10 AM 및 12 : 55 AM PDT 사이, Prod4 경험 오류 및 하네스 파이프 서비스의 간헐적 무해성 고객에게. 무거운 파이프라인 실행은 파이프라인 서비스에 CPU 및 메모리 사용에서 예리한 상승을 파괴하고, 짧은 기간 동안 모든 서비스 인스턴스를 사용할 수 없습니다. 하네스 엔지니어링은 수직과 수평으로 서비스를 확장하여 복원된 서비스입니다. 부정 행위에 대한 수정은 밖으로 구출된다. ## ** 루트 원인 ** 10 월 19 일, 매우 큰 실행 그래프와 동시 실행의 높은 숫자는 클러스터 리소스의 급격한 증가를 파괴. 서비스 상점과 이 전체 실행 그래프를 검색하여 시각화 목적과 다음 주에 파이프라인을 진행합니다. Prod4의 자동 스케일러는 CPU 및 메모리의 날카로운 상승 때문에 스케일링 리소스에 대해 평소보다 오래 걸렸습니다. 수정의 일부로서, 실행 그래프 업데이트는 이제 전체 그래프 대신 그래프 변경을 처리합니다. 그것은 단계적으로 구출되고 가장 이른에 완전하게 구출될 것입니다. ## ** 중요 ** * Affected 사용자 : Prod4의 고객. * Symptom: 하네스 플랫폼의 파이프라인 기능의 타당성. * 자료: 자료 손실 없음. * 건의된 workaround: 고객에서 요구되는 아무도. 하네스 엔지니어링 문제 해결. * 충격의 기간: 25 분 동안 가득 차있는 무해성 및 degraded 성과의 대략 20 분. 마구는 회복 후에 계속 감시하고 고객과 플랫폼 안정성을 확인했습니다. ##**치료** ** 멀티미디어 ** 하네스 엔지니어링은 수직 \ (더 많은 리소스) 및 수평 \ (더 많은 인스턴스 \)를 확장하고 건강 상태의 인스턴스를 제거했습니다. 인스턴스는 안정적이고 정상적인 서비스가 복원되었습니다. 시스템은 수정이 완전히 압연 될 때까지 확장됩니다. **Permanent 수정 및 동작 항목** 다시 일어나고 있는 그런 문제를 방지하기 위해, 마구는 입니다 1. 자동 치유 / 스케일링 프로세스를 조정하여 충격은 아무도에 mimimal입니다. 2. 큰 그래프가 더 빨리 처리 할 수 있도록 실행 그래프 흐름 최적화.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
이 사건은 해결되었습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
· ·.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재 빌드 실행에 영향을 미칠 수있는 마벤 센트럴에 액세스 할 때 HTTP 429 (rate-limiting) 오류를 경험하고 있습니다. 우리 팀은 Sonatype과 적극적으로 협력하여 가능한 한 빨리 문제를 해결합니다. 우리는 우리가 진전을 만들기로 더 많은 업데이트를 제공 할 것입니다.
이 사건은 해결되었습니다.
tldr: \(매우 중앙 \에 의해 제한되는 간단한 비율이 있었다) 더 많은 세부 사항
공식 인시던트 업데이트를 자동 번역했습니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
수정이 구현되어 결과를 모니터링하고 있습니다. 우리는이 문제를 해결의 확인이 있습니다.
이 사건은 해결되었습니다.
# 1. 요약 10월 6일, 2026일, IaCM 스테이지를 포함하는 파이프라인은 약 2시간 동안 Prod1에서 시작할 수 없습니다. 수정된 사용자는 파이프라인이 실행 계획을 만들려고 시도했을 때 오류를 보았습니다. IaCM 스테이지를 사용하지 않은 파이프 라인은 일반적으로 실행되도록 계속되었습니다. IaCM 단계 실행을 처리하는 서비스의 내부 로깅 결함이었다 : 특정, 드문 타이밍 조건 하에서, 그 서비스 자체 로깅 시스템은 자체 무한하게 대기 할 수 있습니다, 이는 파이프라인 실행 계획을 준비하는 더 넓은 프로세스를 턴. 이 문제는 1개의 고객의 파이프라인에서 로그 활동의 특이한 큰 파열에 의해 방아쇠를 이었습니다. 우리는 이전 안정적인 버전으로 다시 서비스를 압연하여 즉각적인 영향을 얻었으며 영구 코드 수정은 현재 테스트 중입니다. # 2. 충격 * Prod1의 IaCM 단계를 사용하여 모든 파이프라인은 약 2 시간 동안 시작할 수 없습니다. * Prod1 클러스터의 여러 고객이 영향을 받았습니다. * IaCM 단계를 사용하지 않은 파이프 라인은 영향을받지 않았고 일반적으로 계속 실행되지 않았습니다. * 이 사건의 결과로 데이터가 손실되지 않았습니다. * 이 사건을 해결하기 위해 사용되는 롤백의 측면 효과로, 하나의 고객 \에 대한 관련 수정 (긴 특정 인증 토큰이 긴 실행 파이프 \ 동안 유효하게 유지되는 방법을 제외하고) 일시적으로 복제되었습니다. 그 수정은 같은 저녁을 다시 승인했다. # 3. 뿌리 원인 IaCM 파이프라인 단계에 책임있는 서비스는 내부 큐를 통해 그것의 활동을 기록합니다: 로그 메시지는 큐에 두고, 단 하나 배경 노동자는 지속적으로 그것에서 읽고 메시지를 밖으로 쓰고. 별도의 서비스에는 동일한 큐에 특정 로그 메시지의 심각성을 다시 읽을 수있는 필터가 있습니다. 특정 아래, 좁은 타이밍 조건, 이 만든 deadlock, queue가 완전히 완전 한 순간에 rewritten 메시지에 제출 되 고 있었다, 큐에 공간을 무료에 대 한 책임 한 하나의 노동자는 자체가 공간에 대 한 대기를 무료로 얻을 것 이다, 그것은 결코 해결 될 수 있었다, 때문에 그것은 단지 공간에 자유를 가질 수 있는 유일한 일이었다. 그 일이 일어났을 때, 아무것도 로그에 필요한 서비스의 모든 부분도 갇힌 대기, IaCM 단계를 사용하여 파이프라인 계획 계산 프로세스 실패. # 4. 해결책 * 즉시 사건을 해결한 마지막 안정되어 있는 버전에 서비스 후에 구른. # 5. 예방 조치 1. ** underlying 결함 최적화 **: 로깅 필터를 최적화하고 조정하기 때문에 메시지의 심각성은 동일한 배경 노동자의 큐를 통해 다시 제출하는 것보다 로그 라인을 생성 한 스레드에 발생합니다. 2. ** 로깅 큐 건강에 대한 관리 모니터링 ** : 이 내부 큐에 미터 및 경고를 추가하여이 클래스의 포화 페이지 우리의 온 콜 팀에 자동으로 고객 보고서에 의존하는 것보다. 3.**Evaluate 한계는 아주 큰 파이프라인을 가진 높은 응력 시험을 실행합니다 **:
공식 인시던트 업데이트를 자동 번역했습니다.
10월 7일, 2026일, 08:00 UTC에서 11:00 UTC (1:30 PM ~ 4:30 PM IST), Prod 7 클러스터의 일부 파이프라인 실행은 정책 (OPA) 단계 평가에서 간헐적 인 실패를 보았습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
### 요약 Prod 2의 고객 경험있는 간헐적인 실패 몇 번의 시작 단계. 완전한 단계는 연속 Verification\(CV\)를 나타내는 메시지로 시작된 후에 곧 실패했습니다 내부 마구 서비스를 도달할 수 없었습니다. 이 문제는 수신 서비스의 타임 아웃과 호환되는 유지 보수 조정과 성능과 신뢰성을 향상하기 위해 풀링을 도입 한 최근 서비스 업데이트에서 줄기. 고객 데이터가 분실되거나 손상되지 않았습니다. ## 고객 영향 CV Verify를 사용하는 고객은 Prod-2의 단계가 사건 창에서 간헐적인 단계 실패를 보았습니다. 실패율은 낮았습니다. 대부분의 실행은 창을 통해 성공적으로 완료되었습니다. CV Verify 단계를 사용하지 않은 파이프 라인은 실망하지 않았습니다. ### 뿌리 원인 최근 CV 서비스 업데이트는 내부 플랫폼 구성 요소에 풀링을 도입했으며, 그 구성 요소의 idle timeout보다 더 긴 지속 시간. 연결 idle 긴 충분히 침묵으로 서버에 의해 닫혔습니다; CV 서비스는 이것을 검출하지 않았고 이러한 실패를 위해 논리가 없었습니다. Verify 단계 실패로 표면을 직접 유발합니다. 이 문제는 만료되기에 충분한 긴 일로 인해 영향을받는 연결이 중단되었습니다. ### 소송 연결 유지 보수 기간은 수신 서비스 idle timeout 내에서 떨어졌다. 실패는 0의 가까이에 떨어졌다 즉시, 이 유형의 더 단계 실패는 어떤 생산 환경에 관찰되었습니다. ## 다음 단계 recurrence를 방지하기 위해, 마구는: * **Fix 연결 처리 : ** 기본 유지 보수를 조정하고 연결 실패에 자동 복원을 활성화하므로 stale-connection 오류가 투명하게 처리됩니다. * **단계 시작시 탄력 추가:** Verify 단계 시작에서 내부 서비스 호출에 대한 backoff와 다시 시작, 그래서 절연 일시적 실패는 즉시 단계 실패로 표면하지 않습니다. * ** 경고:** 내부 연결 오류율에 대한 향상된 모니터링.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
이 사건은 해결되었습니다.
## 요약 On**Tuesday, 6 October 2026**, **OpenTofu 플러그인 ** **Prod1**에서 사용중인 IaCM 파이프라인은 intermittently for the production accountAffected run injected secrets successful, then later steps timed out or failed authentication. 동일한 파이프라인은 종종 retry에 성공, 구성 변경 없이. 전형적인 실패 실행은 약 90 분 동안 ran. 다른 하네스 모듈은 크게 영향을 미쳤습니다. 우리는 고객 데이터 손실의 보고서가 없습니다. 토큰 수명이 끝난 파이프 라인은이 결함에 의해 비난되었습니다. ## 뿌리 원인 IaCM 단계는 1 시간 후에 만료된 인증 토큰을 채굴했습니다. 정책은 긴 실행에서 나중에 체크하여 토큰을 거부하므로 단계가 중단되거나 인증이 실패했습니다. 그 1 시간 일생은 조정되었습니다. 약 90 분의 실행은 한 시간 마크를 교차, 왜 실패가 더 긴 파이프 라인에 나타나고 종종 더 짧은 리트리에 분명. 동일한 계정에서 계획 오류의 별도 설정은 고객 작업 공간의 자격 설정에서 와서이 사건 밖에있다. ## 충격 * **제품 영역:** IaCM 플러그인을 사용하여 IaCM 파이프라인 OPA sdk에 이야기. * ** 고객 경험: ** 비밀 주입 후에 간헐적인 timeouts 및 입증 실패, 대략 1 시간 보다는 더 긴 달리기. * ** 환경:** Prod1, 1개의 생산 계정 * ** 자료:** 보고된 자료 손실 없음. ## 구제 * ** 멀티미디어:** 영향을받은 Prod1 계정의 상태 페이지를 열고 플러그인 수정이 내장 된 동안 관찰 된 실패의 한 클래스에 대한 Interim IaCM 관리자 변경을 배송했습니다. * ** 영구:** OpenTofu 플러그인 hotfix 그래서 토큰 expiry configurable입니다. 생산에서 수명은 약 6 시간으로 자랐으므로 긴 파이프라인은 토큰을 능가하지 않습니다. 핫픽스는 QA에서 검증되었으며 Prod1에 배포되었습니다. 우리는 붕괴를 위해 사과합니다. 더 궁금한 점이 있으시면 하네스 지원 연락처로 연락 주시기 바랍니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
우리는 더 많은 문제를 모니터링하고 있습니다.
수정 및 해결 된 SSO 문제.
## Okta 신청 SP 개시 SSO 로그인 실패 # 요약 사이 10월 5, 2026, 18:18 UTC 및 10월 6, 2026, 00:26 UTC, 일부 하네스 고객은 SAML Single Sign-On \(SSO\)를 통해 하네스 호스트 MCP 서버에 로그인 할 수 없습니다. 주요 하네스 포털 사용자 인증은 완전히 운영됩니다. 수정된 사용자는 로그인 오류를 보거나 로그인을 완료하는 대신 잘못된 SSO 페이지로 리디렉션되었습니다. 이 문제는 하네스 서비스 하네스의 버전 업그레이드에서 변경 사항에 의해 발생했습니다. 우리는 일련의 hotfixes로 고정하고, SSO 로그인은 완전히 모든 영향을받는 고객을 위해 복원되었습니다. # 충격 SAML SSO를 통해 MCP를 마구에 서명하는 사용자는 인증이 완료되지 않았습니다. SSO에 의존하는 MCP 세션이 새로워지지 않았기 때문에 일부 사용자는 다시 로그인하고 할 수 없었습니다. MCP를 주최하는 비소 로그인은 대부분의 사건에서 일했습니다. 고객 데이터가 분실되거나 노출되지 않았습니다. Okta의 자체 일반 SAML 2.0 애플리케이션 구성을 사용하는 고객은 영향을받지 않았습니다. # 뿌리 원인 9 월 29 일, 2026 년, 마구 응용 프로그램의 업데이트 된 버전은 Okta 통합 네트워크에 게시되었습니다. 여러 회신 \ (ACS \) URL을 등록하기위한 업데이트 추가 된 지원, 그래서 몇몇 지역 또는 환경에 걸쳐 마구를 실행하는 고객은 하나의 콜백 URL을 구성 할 수 있습니다. 하네스는 SAML 인증 요청에서 AssertionConsumerServiceURL 값을 포함합니다. 이 업데이트 전에, Okta는 추가 ACS URL없이 응용 프로그램 인스턴스의 값이 유효하지 않았다 대신 응용 프로그램의 기본 ACS URL에 SAML assertion을 반환. 업데이트 후, 이 유효성 검사는 모든 기존 애플리케이션 인스턴스를 통해 활성화되어 고객이 추가 ACS URL을 구성하지 못했습니다. 요청된 값이 인스턴스의 등록 목록에 존재하지 않기 때문에 Okta는 HTTP 400 오류를 반환합니다. 업데이트 된 응용 프로그램은 Okta의 표준 OIN 게시 검토를 통해 갔다, 출판 된 통합의 기존 설치에 대한 백워드 호환성 검증을 포함. 추가된 ACS URL을 가진 인스턴스에 대한 유효성 검사에서 이 변경은 해당 리뷰 중 표면이 되지 않았으므로 릴리스 시간 내에 고객을 도달했습니다. # 치료 **중급 응답 ** 두 가지 운동은 상태 페이지에 게시되었습니다. Okta \ (IdP-initiated login\)의 하네스 타일에서 서명하거나 하네스 옥타 애플리케이션의 URL을 등록했습니다. 마구는 각 보고한 영향 받은 고객 직접 및 그들의 표시에서 유효하게 했습니다. ** 해결책 ** 이전 버전으로 응용 프로그램을 다시 회전은 deliberately 피했다, 그 다음 릴리스에 동일한 혼란을 무시 할 것. 모든 영향을받는 고객은 ACS URL 등록을 통해 차단되지 않았으며, ACS URL 유효 조건을 다시 만들기 위해 Okta와 함께 일하고 있으므로 추가 ACS URL이 이전에 수행 한 것과 정확히 구성되지 않고 고객 행동이 필요하지 않습니다. # 활동 항목 다시 일어나고 있는 그런 문제를 방지하기 위하여, 마구는 뒤에 오는 활동 품목을 가지고 갈 것입니다 1. 상태 ACS URL 검증을 복원하기 위해 Okta와 함께 작동하므로 추가 ACS URL이 구성되지 않고 고객 행동이 필요하지 않습니다. 2. 응답 \ (ACS \) URL 요구 사항을 포함하여 하네스 문서의 OIN 응용 프로그램에 대한 전용 구성 가이드를 게시합니다. 3. 공개 된 Okta 응용 프로그램에 대한 기존 고객 구성에 대한 독립적 인 사전 릴리스 검증 단계 추가, Okta의 자체 검토와 함께. 4. 이 검증 행동에 의존성을 제거하는 사용자 인증.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
게시된 하네스 오카타 애플리케이션을 통해 SP-initiated 로그인에만 적용된 문제점을 발견했습니다. 그 응용 프로그램에 대한 최근 업데이트 후, 그 로그인 시도는 구성 된 SSO URL이 추가 ACS URL에서 누락되었을 때 HTTP 400 오류를 반환. Okta의 일반 SAML 2.0 구성은 영향을받지 않습니다. Immediate 해결책: IDP 소개 Okta의 하네스 애플리케이션 타일에서 로그인을 시작합니다. 또는 게시된 마구 Okta 응용 프로그램에서 추가 ACS URL에 마구 SSO URL을 추가하십시오.
이 사건은 해결되었습니다.
# 1. 요약 9 월 29 일 시작 2026, Okta Integration Network \ (OIN\)의 출판 하네스 응용 프로그램을 통해 서명 할 수있는 고객은 SP-initiated SSO 로그인을 완료 할 수 없었다. Affected 사용자는 로그인 대신 Okta에서 HTTP 400 오류를 받았습니다. Okta가 요청한 답변(ACS\) URL을 공개된 하네스 애플리케이션의 기존 설치를 위한 변경에 의해 도입되었습니다. Workarounds는 첫번째 보고의 시간 안에 간행되고, 각 영향 받은 고객은 막히지 않았습니다. # 2. 충격 * SP-initiated login \에 대한 Okta Integration Network의 출판 하네스 응용 프로그램을 사용하여 고객에게 영향이 제한되었습니다 ( 마구에서 서명 시작). 이러한 시도는 Okta에서 HTTP 400 오류를 반환합니다. * IdP-initiated 로그인, Okta의 하네스 타일에서 시작, 계속 작업. * Okta에 있는 자신의 일반적인 SAML 2.0 신청 윤곽을 사용하는 고객은 영향을 미치지 않았습니다. * 고객 데이터가 분실되거나 노출되지 않았습니다. # 3. 뿌리 원인 9 월 29 일, 2026 년, 마구 응용 프로그램의 업데이트 된 버전은 Okta 통합 네트워크에 게시되었습니다. 여러 회신 \ (ACS \) URL을 등록하기위한 업데이트 추가 된 지원, 그래서 몇몇 지역 또는 환경에 걸쳐 마구를 실행하는 고객은 하나의 콜백 URL을 구성 할 수 있습니다. 하네스는 SAML 인증 요청에서 AssertionConsumerServiceURL 값을 포함합니다. 이 업데이트 전에, Okta는 추가 ACS URL이 구성되지 않은 응용 프로그램 인스턴스에 대한 값이 유효하지 않았다, 단순히 응용 프로그램의 기본 ACS URL에 SAML assertion을 반환. 업데이트 후, 이 검증은 애플리케이션의 모든 기존 인스턴스에 활성화되어 고객이 추가 ACS URL을 구성하지 않은 사람들을 포함. 요청된 값이 인스턴스의 등록 목록에 존재하지 않기 때문에 Okta는 HTTP 400 오류로 인증 요청을 거부했습니다. 업데이트 된 응용 프로그램은 Okta의 표준 OIN 게시 검토를 통해 갔다, 출판 된 통합의 기존 설치에 대한 백워드 호환성 검증을 포함. 추가된 ACS URL을 가진 인스턴스에 대한 유효성 검사의 이 변경은 해당 리뷰 중에 표면이 되지 않았으므로 고객이 릴리스에 도달했습니다. # 4. 구제 **중급 응답 ** 두 가지 운동은 상태 페이지에 게시되었습니다. Okta \ (IdP-initiated login\)의 하네스 타일에서 서명하거나 하네스 옥타 응용 프로그램의 URL을 등록하십시오. 각 영향 받은 고객에 직접 관여하고 그(것)들을 가진 유효한 표시에서. ** 해결책 ** 이전 버전으로 응용 프로그램을 다시 회전은 deliberately 피했다, 그 다음 릴리스에 동일한 혼란을 무시 할 것. 모든 영향을받는 고객은 ACS URL 등록을 통해 차단되지 않았으며, ACS URL 검증 조건을 다시 만들기 위해 Okta와 함께 일하고 있기 때문에 추가 ACS URL을 사용하여 고객 행동이 필요하지 않습니다. # 5. 작업 항목 이런 문제를 다시 발생시키기 위해, 우리는 일하고 있습니다 |**액션 아이템** | 인포메이션 | Okta와 함께 작동하여 조건 ACS URL 검증을 복원하기 위해, 그래서 추가 ACS URL을 구성하는 추가 ACS URL을 설정하지 않고 고객 행동이 필요하지 않습니다. · | 대답 \(ACS\) URL 요구 사항을 포함하여 하네스 OIN 응용 프로그램에 대한 전용 구성 가이드를 발행합니다. | | 기존 고객 구성에 대한 독립적 인 사전 릴리스 검증 단계 추가, 공개 된 Okta 응용 프로그램에 대한 향후 업데이트, Okta의 자체 검토와 함께. | | 이 검증된 행동에 의존성을 제거한 사용자 인증. ·
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
### 요약 9월 29일 오전 11시 37분과 오후 3시 1분 사이 PDT \(18:37–22:01 UTC\), 2026**, **prod1/prod2 \(us-west1\)**의 하네스 CI 자체 호스팅 Linux 클라우드 런너를 사용하여 고객 ** 파이프 라인 실행 중에 경험있는 간헐적인 네트워킹 실패 - 소스 코드를 fetching 때 주로 Git/network timeouts. ** 루트 원인 ** 이것은 주로 우리의 NAT의 포화로 인해 일시적인 클라우드 제공 업체가 계산 용량을 방지, 새로운 VM 제공 방지. ### 충격 * 자체 호스팅 된 Linux CI를 실행하는 고객은 us-west1에서 빌드합니다. ** 독립적 인 빌드 / 파이프 실패 **, 전체 정전이 아닙니다. * Git fetch timeouts, 예를 들어, github.com 포트 443에 연결하기 위해 `Failed github.com 포트 443: 커넥티드 아웃` **치료** * ** Immediate : ** 중앙 1 \ (중앙 1 용량 \에 의해 부분적으로 제한된) 포화 us-west1 경로에서 리밸런스 된 팔 빌드 - VM로드; 분산 된 파이프라인 네트워킹을 안정화하는 데 영향을 미쳤습니다. **Action 항목** 1. 추가 NAT 게이트웨이/IP 용량 \(진행) 2. NAT 포화 탐지를 개량하고 고객 충격의 앞에 경고. 3. 단 하나 지역의 compute 부족은 실패한 완화를 막지 않습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
우리는 더 많은 문제를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
** 일정 ** Prod-2의 고객은 지속적인 검증 파이프라인에 있는 높은 실패율을 경험했습니다. 검증 작업은 CV 데이터 수집 근로자가 자신의 일을 좌표하는 플랫폼 서비스와 통신 할 수 없기 때문에 완료 또는 오류를보고하지 못했습니다. 예기치 않은 교통 스파이크에 의해 우리의 백엔드 시스템 중 하나. 서비스는 영향을받는 플랫폼 구성 요소를 스케일링하여 복원되었습니다. 데이터 손실 또는 손상이 발생하지 않습니다. ** 고객 영향** Prod-2의 연속 검증을 사용하는 고객은 사고 창에서 검증된 파이프라인 작업이 실패하거나 시간을 보았습니다. 이 기간 동안 실행 실패에 종료 된 검증 작업 인스턴스의 중요한 부분. CV를 사용하지 않는 배관은 일반적으로 작동하도록 계속됩니다. ** 루트 원인 ** 큰 자동화된 프로비저닝 런은 짧은 창에서 지속적인 CV 모니터링 인력의 상당한 수를 생성하여 공유 플랫폼 구성 요소를 압도합니다. concurrent 아웃 바운드의 급격한 증가는 각 서비스 인스턴스의 사용 가능한 네트워크 연결을 소진했습니다. ** 소송 ** CV 서비스에 대한 최대 스케일링 제한이 제기되었습니다. 수요를 충족시키기 위해 용량을 확장 할 수 있습니다. 실패는 스케일 아웃이 완료 된 후 곧 중단되었습니다. **다음 단계** recurrence를 방지하기 위해, 마구는: * ** 용량 헤드룸과 프로비저널 추가:** 파열 부하의 헤드룸 유지를 위한 CV 서비스 스케일링 제한을 올리고, 모니터된 서비스의 대량 프로비싱에 대한 비율을 소개합니다. * ** 탄력성: ** 작업자의 retries에 대한 exponential backoff 및 jitter를 추가하고, 오버 헤드를 감소시키고 높은 concurrency의 합성에서 일시적인 실패를 방지하기 위해 재사용 가능한 연결 풀을 사용합니다. * ** 모니터링 및 경고:** 비정상적인 per-account 노동자 성장률에 대한 경고를 강화, 그래서 유사한 조건은 조기에 감지하고 행동.
공식 인시던트 업데이트를 자동 번역했습니다.
28일 9월 2026일, 수출 단계 동안 하네스 파일스토어에서 파일을 복사하는 데 문제가 있었습니다. 파일이 null/empty 파일로 복사되었습니다. 결과적으로 Filestore API를 사용하는 모든 파이프라인은 사건 창에서 차단되었습니다. 문제가 발견 된 한 번 거꾸로 한 기능 플래그 롤아웃으로 인해 발생했습니다. 모든 작업은 정상으로 돌아갑니다.
### 요약 9 월 28, 2026, 일부 고객 Prod-2는 파이프라인 표현을 사용하여 파일 저장 콘텐츠를 읽는 CD 파이프라인 단계에 실패를 경험 \ (예를 들어, `\). 수정된 표현은 예상된 파일 내용 대신 null을 반환하며, 임의 단계가 실패하거나 잘못 동작합니다. 이 문제는 File Store API에서 인증 검사를 강화하는 플랫폼 업데이트로 추적되었습니다. 업데이트는 다시 압연되었으며 File Store 표현은 일반적으로 작동합니다. ## 고객 영향 * Prod-2의 파이프라인 단계만 표현을 통해 File Store 콘텐츠를 읽었습니다. File Store 표현을 사용하지 않는 파이프 라인은 영향을받지 않았습니다. * null로 수정된 표현식은 구성 또는 설정 파일에 의존하는 단계가 실패하거나 잘못된 출력을 생성합니다. * No File Store 콘텐츠가 수정되었습니다. 파일, 비밀, 자격, 또는 artifacts는 노출되지 않았고, 데이터가 손실되지 않았습니다. ### 뿌리 원인 지속적인 보안 이니셔티브의 일환으로 File Store 콘텐츠를 제공하는 API를 포함하여 여러 플랫폼 API를 통해 엄격한 인증 검사를 배포했습니다. 파이프라인은 파일 저장소 표현을 평가할 때, 하나의 내부 하네스 서비스는 파일을 검색하기 위해 다른 호출합니다. 새로운 권한 확인은 거부된 요청과 null을 반환하는 표현에 실패했습니다. ### 소송 플랫폼 업데이트가 원인으로 확인되면 생산 환경 전반에 걸쳐 다시 압연되었습니다. File Store 표현은 롤백 이후 제대로 해결되었습니다. 고객 행동은 없습니다. ### 예방 조치 및 다음 단계 * **Audit에 영향을 미치는 API:** 엄격한 인증 검사가 내부 서비스 호출을 보장하기 위해 적용되는 모든 API를 검토하십시오. * ** 시험 적용: ** 자동화된 테스트 제품군을 통해 파이프라인 실행 경로의 File Store expression 평가를 포함합니다
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재 Palo Alto Networks 방화벽에 의해 보호되는 고객에 영향을 미치는 연결 문제를 조사하고 있습니다. 이러한 방화벽은 하네스 API에 연결을 차단하고, 이는 결과적으로 발생할 수 있습니다: - Failed 파이프라인 실행 - 애플리케이션 배포 - 하네스 플랫폼 기능에 액세스 할 때 Intermittent timeout - 타사 도구와 통합 실패 - 하네스 플랫폼과의 연결 이 문제는 하네스 서비스 아웃량에 의해 발생하지 않지만 네트워크 측의 방화벽 규칙에 의해 오히려. 우리는 우리의 DNS 엔드포인트에 대한 예외를 만들기 위해 고객을 조언하고 있습니다.
Mitigation available: 네트워크 보안 정책에 의해 차단되는 하네스 트래픽 우리는 몇몇 고객이 마구 소통량이 Palo Alto 네트워크 보안 통제에 의해 “AI-Platform”로 분류되고 그 후에 고객의 방화벽/INET 정책에 의해 막힌 접근할 수 없는 문제점을 확인했습니다. 이 문제가 발생하면: 조직의 Network/Firewall/CyberSecurity 팀에 연락하고 필요한 하네스 트래픽이 Palo Alto 방화벽 정책을 통해 허용되도록 요청하십시오. 소송으로 고객은 필수 하네스 엔드포인트의 "AI-Platform" URL 범주를 허용하거나 해당 하네스 도메인/FQDNs를 조직의 승인 / 허용 목록에 추가하여 보안 정책을 준수합니다. 방화벽 정책이 업데이트된 후, 하네스에 액세스할 수 있습니다. 중요 : 방화벽 정책은 고객의 네트워크 / 보안 팀에 의해 관리됩니다. 하네스 엔드포인트가 Palo Alto에 의해 확실히 분류되면 고객은 Palo Alto Networks의 URL-category 리뷰를 요청할 수 있습니다.
Palo Alto Networks와의 상담 후 Sept 23rd 2026, app.harness에서 확인할 수 있습니다. io는 Palo Alto Networks 팀의 AI Platform Service로 분류되었습니다. Palo Alto Networks는 8 월 상류에 대한 통지를 보냈습니다. 이 변화는 app.harness 보다는 다른 정책의 밑에 AI 플랫폼 서비스를 둘지도 모릅니다. io의 이전 규칙 categorization, 컴퓨터 및 인터넷 정보. 적용된 정책은 고객 설정에 따라 다릅니다. 마구 고객은 이 categorization와 그들의 내부 네트워크 팀 및 Palo Alto 네트워크와 경고를 토론해야 합니다.
·.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
# 요약 9 월 22 일, 2026 년, 우리의 아웃 바운드 네트워크 게이트웨이 중 3 명이 건강이되고 새로운 아웃 바운드 연결 시도의 작은 비율을 거부하기 시작했습니다. 문제는 더 이상 재발 또는 후반 충격과 같은 날 문제를 완전히 해결했다. 멸종 원인은 이러한 게이트웨이에 대한 내부 트래픽 기반 버퍼를 포화했다. 이는 건강이 너무 천천히 반응하고 건강하게 표시된다. # 충격 * 1개의 지구에 있는 3개의 출입구 인스턴스만 영향을 미쳤습니다; 동일한 지역에 있는 다른 지구 및 다른 출입구는 영향을 미치지 않았습니다. * 캐스케이드 실패가 없었다, 문제는 완전히 게이트웨이 재시작의 한 라운드로 해결되었다, 그리고 후속 문제가 발생하지. # 뿌리 원인 아웃바운드 네트워크 게이트웨이는 운영 가시성을 위한 네트워크 트래픽을 모니터링하는 내부 구성 요소를 실행합니다. 지속적인 높은 트래픽 아래, 이 구성 요소의 내부 버퍼는 포화되었다, 이는 우리의 부하 잔액을 초과하는 게이트웨이의 자신의 건강 검사 응답을 느리게하기 위해 충분한 backpressure 심한 생성. timeout이 초과되면, load balancer는 영향을받은 Gateways를 불허하게 표시하고 새로운 연결의 일부를 거부하기 시작했습니다. 실제 패킷 전달은 일반적으로 사건에 걸쳐 작동합니다. 이것은 특히 건강 검사 및 모니터링 - 버퍼 문제, 게이트웨이의 핵심 운송 기능의 실패. # 해결책 세 가지 영향을받은 게이트웨이 인스턴스는 수동으로 다시 시작되었습니다. 포화 모니터링 버퍼와 즉시 정상 건강 검사 동작을 복원했습니다. 연결 거부는 재시작이 완료된 후, 더 이상 개입이 필요했습니다. # 예방 조치 |**액션** | 인포메이션 | 이 길에 포화할 수 없는 더 효율적이고 낮은 오버헤드 구현을 가진 모든 게이트웨이에 대한 현재의 교통 접근 방식을 대체하고, 고객 접근이 가능하기 전에 잘 경고합니다. | | 자동, 고정된 일정의 긴 실행 게이트웨이 인스턴스의 주기적인 교체를 구현하므로 이 사건에서 볼 수 있는 연령 관련 토론의 종류를 축적할 수 없습니다. · | Migrate Gateway 인스턴스는 네트워크 최적화된 인프라로, 더 많은 전용 네트워크 용량을 갖추고 있으며, 지속적인 고선명 트래픽에 더 적합합니다. | | 장기간의 교체가 진행되는 동안 기존의 모니터링 버퍼의 활용을 강화합니다. | | Gateway Health-check 응답 대기시간에 특히 경고를 강화하여 고객이 부담되기 전에 퇴직의 조기 징후를 잡을 수 있습니다. ·
공식 인시던트 업데이트를 자동 번역했습니다.
문제는 식별되고 수정이 구현됩니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
이전 루트 원인과 같습니다.
공식 인시던트 업데이트를 자동 번역했습니다.
우리는 현재이 문제를 조사하고 있습니다.
문제는 식별되고 수정이 구현됩니다.
수정이 구현되어 결과를 모니터링하고 있습니다.
이 사건은 해결되었습니다.
## 요약 9 월 21, 2026, Prod의 고객 2 경험이 급등하고 약 3 시간 동안 크게 사용할 수없는 배포 대시보드. 이 문제는 데이터베이스의 용량을 배출하는 데 필요한 데이터보다 훨씬 더 많은 데이터를 읽는 그 대시보드 뒤에 분석 쿼리의 집합에 의해 발생했습니다. 영향을받는 서비스의 롤링 재시작은 대쉬보드를 완전히 복원하고, 플랫폼은 이후 안정되었습니다. ## 고객 충격 대시보드 페이지는 천천히로드되거나 14 : 48 및 18 : 11 UTC 사이에 시간. Pipeline 실행 및 배포 기록은 별도의 인프라에서 실행되며 일반적으로 작동하도록 계속됩니다. 데이터 손실 또는 손상이 발생하지 않습니다. ## 뿌리 원인 대쉬보드 쿼리는 주간 세그먼트로 가장 큰 테이블을 분할하기 위해 사용되는 열에 시간 범위 필터를 누락했습니다. 그래서 각 쿼리는 요청한 기간 대신 모든 역사적인 데이터를 읽었습니다. 부정확함은 영향을받지 못했습니다. 대쉬보드는 올바른 결과를 반환했습니다. 데이터의 양만이 과도하게 생성되었습니다. 데이터 볼륨이 성장함에 따라, 그 중의 비용은 데이터베이스가 제공 할 수 있는지 초과하고, 실패 쿼리의 반송은 더로드를 추가했습니다. 따라서 상태는 서비스가 재시작 될 때까지 명확하지 않았습니다. ## 소송 * 영향을받는 서비스의 롤링 재시작을 수행, 재발 사이클을 중지하고 데이터베이스가 뛰어난 작업을 완료 할 수 * 확인된 대쉬보드 대기시간 및 데이터베이스 연결 사용은 정상적인 수준으로 반환 ## 다음 단계 recurrence를 방지하기 위해, 마구는: * 영향을받는 대시보드 쿼리에 누락 된 시간 범위 필터를 추가하여 각 요청한 기간 만 읽습니다. * 경계를 가진 즉시 retries를, backing-off retries 대체하십시오 * 데이터베이스 연결 사용 및 per-query 실행 비용에 대한 경고를 추가하여 감지 향상
공식 인시던트 업데이트를 자동 번역했습니다.
