Partial Outage: 상인 수입품과 수출
- identified
우리는 우리의 상인 수입품 & 수출 서비스에 있는 부분적인 outage를 직면하고 있고 가능한 빨리 해결하기 위하여 일하고 있습니다.
- resolved
이 사건은 해결되었습니다.
- postmortem
# Incident Post-mortem 보고서 **Dashboard 수출 및 모든 상점에 지연 ** 인포메이션 인포메이션 |**일시** | 10월 25일, 2026일, 11시 25분~2시 26분(UTC+3, KSA time\) 소요시간: 3시간 1분 | | **유형** | 서비스 등급: 배경 처리 | |**Title** | 모든 점포에 매우 큰 고객 수입 매각 대시보드 수출 및 수입 | |**Impact** | 66개 매장의 132개 수출 요청은 평균 81분, 최대 3시간 43분으로 지연되었습니다. 그 중 3 번은 다시 요청해야합니다. 큰 수입을 시작하는 상점의 고객 수입은 오후 3시 12시까지 지연되었습니다. | | **휴게일의 총 영향** | 정전 없음 상점, 체크 아웃 및 대시보드는 전체 시간을 일했습니다. 수출과 수입만 기다립니다. · ## 요약 대시보드 수출 \ (주문, 고객, 지갑, 버려진 카트 및 기타 \) 및 대시보드 수입은 하나의 공유 풀에 의해 배경에 내장되어 있습니다. 오전 11시 23분에서 상인은 약 1.05 백만 줄의 고객 수입을 시작했습니다. 플랫폼은 100 행의 부품으로 모든 수입을 분할하므로이 것은 10,486 부품이되었습니다. 각 부분 후에, 플랫폼은 전체 수입이 끝나는지 검사합니다, 그래서 상인에게 요약을 보낼 수 있습니다. 즉, 수입의 모든 부분을로드 체크, 포함 된 행, 메모리 :이 수입에 대한 체크 당 약 200 MB, 한 번에 실행되는 5 가지 체크와 함께. 노동자는 기억에서 ran 및 다시 다시 재시작. 모든 상점에서 내보내기 요청은 수입 부품 뒤에 대기. 우리는 코드 레벨 변경을 발송 그래서 체크는 어떤 부분이 여전히 끝나고 데이터베이스에서 최종 총을 추가하는지 묻는다. 그것은 더 이상 줄을로드, 그래서 메모리 사용 더 이상 수입의 크기로 성장하지. ## 타임라인 \(KSA 타임 \) | 이벤트 | 인포메이션 | 11:23 AM | 판매자는 약 1.05 백만 줄의 고객 수입을 시작합니다. 으로 11:27 오전 그것은 분할 10,486 부품. | | 오전 11:25 | 기다려야 하는 첫번째 수출 요구는 창조됩니다. 수입 부품 뒤에 요청 큐. | | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~ | ~11:34~11:34~ | ~11:34~11:34~ | ~11:34~11:34~ | ~11:34~11:34~ 작업자는 메모리와 재시작을 시작합니다. 여기에서 그들은 재시작 당 대략 5개의 수입품 부속 및 거의 수출을 완료합니다. · | 오후 12시 26분 | 오전 11시 30분부터 3개의 수출을 지원할 수 있는 상가 보고서입니다. | | ~1:15 PM | 제품 공학은 조사를 시작하고, 수입 완료 체크에 재시작을 추적합니다. | | 1:54 PM | 제품 공학은 메모리 성장을 재현하는 시험과 함께 변화합니다. | | 2:08 PM | 노동자가 backlog를 지우기 시작하지만, 그들은 여전히 시간에 시간을 재시작합니다. · | 2:26 PM | 마지막 지연 수출 마감 수출은 정상으로 돌아갑니다. | | 2:34 PM | 변경이 있습니다. | | ~3:00 PM | 노동자가 정지합니다. | | 3:09 PM | 3시간 이상 기다리는 3개의 수출 요청이 있습니다. | | 3:10 PM | 100개의 행을 제외하고는 큰 수입이 완료됩니다. · ## 영향을받는 것 | 지역 | 사건 중 주 | 우리가 아는 법 | 인포메이션 | 대시보드 수출, 모든 유형 및 모든 상점 |**Delayed:** 132개 매장에서 요청, 평균 81분, 최대 3시간 43분 | 수출 요청 기록. 주문 72, 세부 주문 21, 지갑 11, 버려진 카트 6, 고객 6, 리뷰 5, 주문 준비 4, 쿠폰 3, 기타 4. | | 수출입 OK |**Failed:** 2개의 매장에서 3개의 요청 | 수출입구 기록 이 상인은 다시 수출을 요청해야합니다. · | 수출입 OK |**1호 이 플랫폼은 자동으로 표시됩니다. | | 큰 수입을 시작 하는 가게의 고객 수입 | **오후 3시 12분까지 지연:** 9 수입 | 수입 기록. 자동적으로 retried 1개를 제외하고 완성되는 모든 부속. · | 다른 점포에서 가져 오기 | ** 영향을 주지 않습니다 ** | 다른 상점은 사건 중 수입을 시작했습니다 | | 수출 파일 내용 | ** 영향을 주지 않습니다 ** | 각 파일이 실행될 때 실시간 데이터로 구축되어 있으므로, 파일이 완성됩니다 | | 가게, 체크 아웃 및 대시보드 | ** 영향을 주지 않습니다 ** | 수출 및 수입 재시작을위한 배경 근로자 만 | ## 작업 촬영 1. 원인 발견 : 수출을 구축하고 수입을 다시 시작했기 때문에 수입 완료 체크가 메모리에서 ran. 2. 코드 레벨 변경을 발송: 완료 체크 카운트를 종료 부품 및 모든 부분을로드 대신 데이터베이스에 총을 추가. 시험은 오래된 행동에 실패하고 새로운 것을 통과합니다. 3. 지연된 수출이 끝나고, 3 시간 초과 요청을 확인하여 그 상인을 다시 요청할 수 있습니다. ## 결론 ** One Merchant의 수입은 다른 모든 상점의 수출을 보유하지 않아야합니다. ** 수출 및 수입은 같은 근로자를 공유하므로 무거운 수입은 모두 지연됩니다. 변경은이 원인을 제거합니다. ** 부품 당 한 번 실행하면 전체 수입의 크기로 성장할 수 없습니다. ** 완료 체크는 모든 부분 후에 전체 수입을 읽습니다. 그것은 전형적인 수입에 대한 벌금과 매우 큰 하나에 대해 실패했다. 변화로, 이 크기의 수입은 더 이상 노동자의 기억을 배출하지 않습니다.
공식 인시던트 업데이트를 자동 번역했습니다.