Treasure Data 장애 기록

1. 2026년 10월 22일 오전 3:24 UTCidentified

   10월 13, 2026 02:00 UTC 이후, Amazon S3의 Parquet 파일을 성공적으로 읽은 일부 수입 작업은 숫자 대신 텍스트 (문자)로 날짜와 시간 열을로드합니다. 대상 테이블이 이미 이 열을 긴으로 정의하면 수입 된 값은 빈 (NULL)입니다. Parquet 파일의 날짜 또는 시간 유형에 저장 된 란 만 영향을받습니다. 다른 란 및 다른 자료 연결관은 영향을 미치지 않습니다. 10월 13일 릴리스에 도입된 변화가 확인되었으며 수정을 준비하고 있습니다. 우리는 충격의 전체 범위를 평가하고 있습니다. 우리는 30 분에 있는 갱신을 제공할 것입니다.

2. 2026년 10월 22일 오전 4:06 UTCidentified

   우리는 아마존 S3 Parquet의 원인을 확인했습니다 로딩 날짜 및 시간 열 텍스트 (문자) 대신 10 월 13, 2026 02:00 UTC 이후, 수정을 구현합니다. 수정이 배포 될 때까지, 영향을받은 수입 작업은 텍스트로로드 된이 열에 성공적으로 완료합니다. 다른 란 및 다른 자료 연결관은 영향을 미치지 않습니다. 이 기간 동안 가져온 데이터에 대한 데이터 무결성을 검증하고 있습니다. 우리는 1 시간에 있는 갱신을 제공할 것입니다.

3. 2026년 10월 22일 오전 6:22 UTCidentified

   우리는 아마존 S3 Parquet의 원인을 확인했습니다 로딩 날짜 및 시간 열 텍스트 (문자) 대신 10 월 13, 2026 02:00 UTC 이후, 수정을 배포합니다. 수정이 배포 될 때까지, 영향을받은 수입 작업은 텍스트로로드 된이 열과 함께 계속. 다른 란 및 다른 자료 연결관은 영향을 미치지 않습니다. 이 기간 동안 가져온 데이터에 대한 데이터 무결성을 검증하고 있습니다. 우리는 30 분에 있는 갱신을 제공할 것입니다.

4. 2026년 10월 22일 오전 7:44 UTCmonitoring

   우리는 Amazon S3 Parquet 가져 오기 로딩 날짜 및 시간 열을 텍스트로 배포했습니다. 새로운 수입 작업은 숫자로이 열을로드합니다 (긴), 10 월 13, 2026 이전에. 우리는 안정성을 보장하기 위해 감시하고 있습니다. 우리는 30 분에 있는 갱신을 제공할 것입니다.

5. 2026년 10월 22일 오전 10:15 UTCresolved

   Amazon S3 Parquet 가져 오기를 일으키는 문제는 숫자 대신 텍스트 (문자)로 날짜와 시간 열을로드합니다. 수정은 10 월 22, 2026 에 07:40 UTC, 새로운 수입 작업은 숫자로이 열을로드 (긴), 10 월 13, 2026 전에. 데이터는 10월 13, 2026 02:00 UTC와 10월 22, 2026 07:40 UTC가 영향을받는 날짜와 시간 열을 포함 할 수 있습니다. 우리는 영향 받은 고객을 직접 접촉할 것입니다. 우리는 불편을 드려 대단히 감사합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 10월 7일 오전 4:21 UTCidentified

   10월 6일 기준 약 22:55 UTC부터 Treasure AI Voice Mobile 앱의 사용자는 기기에서 새로운 기록을 전송할 수 없습니다. 전송은 "Unauthorized" 오류로 실패합니다. Wi-Fi 및 Bluetooth 전송 모두에 영향을 줍니다. 우리는 원인을 확인하고 수정을 배포합니다. 이미 전송 된 기록, 그들의 성적 및 요약, 영향을받지 않습니다. 우리는 30 분에 있는 갱신을 제공할 것입니다.

2. 2026년 10월 7일 오전 4:27 UTCidentified

   이 문제를 해결하기 위해 계속 노력하고 있습니다.

3. 2026년 10월 7일 오전 4:54 UTCmonitoring

   Treasure AI Voice의 녹화 전송 실패에 대한 서버 측 수정을 배포했습니다. 모바일 앱의 새로운 전송은 다시 성공합니다. 앱 업데이트는 없습니다. 사건 중 전송에 실패한 기록은 장치에서 다시 전송될 수 있습니다. 우리는 안정성을 보장하기 위해 감시하고 있습니다.

4. 2026년 10월 7일 오전 5:24 UTCresolved

   Treasure AI Voice의 레코딩 전송 실패가 해결되었습니다. 모든 시스템은 일반적으로 작동합니다. 10월 6일과 [fix time] UTC에 약 22:55 UTC 사이, 새로운 녹음은 모바일 앱에서 전송할 수 없습니다. 서버 측 수정을 배포하고 앱 업데이트가 필요하지 않습니다. 이 기간 동안 전송에 실패한 기록은 장치에서 다시 전송될 수 있습니다. 감사합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 30일 오전 4:36 UTCresolved

   Sept 28th (5 : 30 PM UTC) 및 Sept 29th (6 : 30 PM UTC) 고객은 예정된 속성 업데이트가없는 배치 세그먼트는 Reactor로로드에서 일괄 데이터를 방지하지 못했습니다. 고객은 config가 업데이트될 때 오류를 볼 수 있습니다. 충격은 그 창 도중 어떤 순간 신청, 개인화, 또는 캠페인은 stale 배치 재산 자료에 relied 할지도 모릅니다. 시스템은 복구 및 워크플로우가 이제 업데이트 된 데이터를 전송합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 29일 오후 5:22 UTCinvestigating

   우리는 현재 미국 (AWS) 지역의 Reactor로 데이터를로드하지 못하는 일괄 수출 작업에 투자하고 있습니다. 데이터 업데이트는 최대 24시간 지연됩니다. 우리는 1 시간에 있는 상태를 업데이트할 것입니다.

2. 2026년 9월 29일 오후 6:20 UTCmonitoring

   수정이 시행되고 우리는 작업이 성공한다는 것을 관찰했습니다.

3. 2026년 9월 29일 오후 9:18 UTCresolved

   이 사건은 해결되고, 우리의 지원 팀은 영향을 받은 고객으로 위로 이어질 것입니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 28일 오전 3:41 UTCinvestigating

   우리는 현재 기업 및 기업 지원 계획에 대한 라이브 채팅 기능과 문제가 있습니다. 우리의 팀은 적극적으로 투자하고 있습니다. [email protected]에 의해 평소처럼 지원 팀에 도달 할 수 있습니다. 우리는 당신의 patience 및 어떤 불편든지를 위해 apologize 평가합니다.

2. 2026년 9월 28일 오후 1:16 UTCresolved

   우리는 기업 및 기업 지원 계획에 대한 라이브 채팅 기능에 영향을 미치는 문제를 식별하고 해결했습니다. 이 서비스는 완전히 복원되어 정상적으로 작동합니다. 우리는 진심으로이 발생하고 당신의 인내에 감사드립니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 17일 오전 3:14 UTCidentified

   우리는 우리의 웹 인터페이스에서 거래 이메일에 영향을 미치는 지연의 원인을 확인하고 솔루션에서 작업. 고객은이 시간 동안 예상보다 약간의 이메일을 받게 될 수 있습니다. Affected 이메일에는 시스템 알림 및 암호 재설정 요청이 포함됩니다. 다른 이메일 서비스는 일반적으로 작동합니다. 우리는 30 분 안에 다른 갱신을 제공할 것입니다.

2. 2026년 9월 17일 오전 3:44 UTCmonitoring

   거래 이메일 배송은 복구되지만, 정상 수준으로 돌아가는 데 시간이 걸릴 수 있습니다. 우리는 계속 서비스를 모니터링. 다른 이메일 서비스는 공개되지 않습니다. 우리는 2 시간 안에 다른 갱신을 제공할 것입니다.

3. 2026년 9월 17일 오전 6:10 UTCmonitoring

   거래 이메일 배송은 복구되지만, 정상 수준으로 돌아가는 데 시간이 걸릴 수 있습니다. 우리는 계속 서비스를 모니터링. 다른 이메일 서비스는 공개되지 않습니다. 우리는 24 시간 안에 다른 갱신을 제공할 것입니다.

4. 2026년 9월 18일 오전 6:51 UTCmonitoring

   거래 이메일 배송은 복구되지만, 정상 수준으로 돌아가는 데 시간이 걸릴 수 있습니다. 납품은 꾸준히 개량합니다. 우리는 계속 서비스를 모니터링. 다른 이메일 서비스는 공개되지 않습니다. 우리는 7 일 안에 다른 갱신을 제공할 것입니다.

5. 2026년 9월 25일 오전 4:44 UTCmonitoring

   거래 이메일 배송은 계속 회복하지만, 정상 수준으로 돌아가는 데 시간이 걸릴 수 있습니다. 납품은 안정되어 있고, 우리는 서비스를 감시하기 위하여 계속됩니다. 다른 이메일 서비스는 공개되지 않습니다. 우리는 7 일 안에 또 다른 갱신을 제공할 것입니다, 또는 조건 변화가 있는 경우에 빨리.

6. 2026년 10월 5일 오전 2:19 UTCmonitoring

   우리는 더 많은 문제를 모니터링하고 있습니다.

7. 2026년 10월 5일 오전 2:20 UTCmonitoring

   거래 이메일 배송은 계속 회복하지만, 정상 수준으로 돌아가는 데 시간이 걸릴 수 있습니다. 납품은 안정되어 있고, 우리는 서비스를 감시하기 위하여 계속됩니다. 다른 이메일 서비스는 공개되지 않습니다. 우리는 14 일 안에 또 다른 갱신을, 또는 조건 변화가 있는 경우에 빨리 제공할 것입니다.

8. 2026년 10월 16일 오전 12:04 UTCresolved

   우리는 더 이상 어떤 배달 지연든지 관찰하지 않습니다. 우리는 우리의 감시를 강화하고 중단을 위해 계속할 것입니다. 당신이 어떤 sluggish 납품을 통지하는 경우에, 원조를 위한 우리의 지원 팀을 접촉하십시오.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 27일 오전 8:29 UTCresolved

   7/25 사이 오늘, 7/27 에 11:30 AM JST, 우리는 bulkLoad (Data Connector Import), 결과 수출 (Activation) 및 대량 수입에 영향을 미치는 성능 평가 문제점을 경험했습니다. 이 아침을 받은 후, 우리의 엔지니어링 팀은 특정 조건 (내부 부품 통신에서 지연) 아래 문제와 확인 된 높은 시스템 부하를 조사했습니다. 문제는 서버 노드의 전체 회전에 의해 해결되고, 전체 성능은 오전 11시 30 분 JST로 복원되었습니다. 우리는 진심으로 어떤 불편을 위해 사과합니다. 우리는 현재 미래에 유사한 문제를 방지하기 위해 모니터링 및 경고 규칙을 검토하고 있습니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 7월 7일 오후 5:04 UTCinvestigating

   우리는 도쿄 지역에서 Treasure Work 및 tdx의 성적을 관찰하고 있습니다. 이 문제는 도쿄 지역의 Claude Haiku 4.5 모델에 한정됩니다. 사용자는 Claude Haiku 4.5 반환 오류 또는 시간을 사용하여 요청할 수 있습니다. 이 시간에, 우리는 다른 모델과 어떤 문제를 볼 수 없습니다. workaround로 사용자는 다른 모델을 선택할 수 있습니다. 우리는 적극적으로이 문제를 조사하고 30 분 동안 업데이트를 제공하는 것을 목표로합니다.

2. 2026년 7월 7일 오후 5:40 UTCinvestigating

   이 문제를 조사하고 30 분 동안 다른 업데이트를 제공 할 것입니다.

3. 2026년 7월 7일 오후 6:07 UTCidentified

   우리는이 문제를 탐구하고 현재 잠재적 인 수정을 평가하고 있습니다. 테스트가 완료되면 곧 업데이트됩니다.

4. 2026년 7월 7일 오후 7:42 UTCidentified

   우리는 잠재적 인 수정을 통해 일하고 잠재적 인 기여 요인을 식별하기 위해 노력하고 있습니다. 또, 문제는 도쿄 지역의 Haiku 4.5 모델로 현지화되어 있기 때문에 사용자는 일시적으로 높은 오류율을 경험하는 경우 다른 모델을 사용합니다. 우리는 inconvenience를 위해 사과하고 또 다른 갱신이 곧 있을 것입니다.

5. 2026년 7월 7일 오후 8:27 UTCmonitoring

   수정이 구현되어 결과를 모니터링하고 있습니다.

6. 2026년 7월 7일 오후 8:59 UTCresolved

   이 문제는 해결되었습니다. Treasure Work와 tdx는 일반적으로 운영되며, 도쿄 지역의 Claude Haiku 4.5 모델은 더 이상 오류 또는 타임 아웃을 경험하지 않습니다. 감사합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 6월 26일 오후 9:48 UTCidentified

   우리는 미국 지역의 Hive 쿼리 성능 평가를 경험하고 있습니다. 이 문제는 6 월 25, 2026에 시작되었습니다. 사용자는 예상 쿼리 실행 시간보다 더 오래 관찰 할 수 있습니다, 특히 큰 데이터 볼륨과 긴 실행 작업. 우리는 원인을 확인하고 수정 작업을합니다. 우리는 30 분에 있는 갱신을 제공할 것입니다.

2. 2026년 6월 26일 오후 10:22 UTCidentified

   우리는 미국 지역의 Hive 쿼리 성능 평가를 경험하고 있습니다. 이 문제는 6 월 25, 2026에 시작되었습니다. 사용자는 예상 쿼리 실행 시간보다 더 오래 관찰 할 수 있습니다, 특히 큰 데이터 볼륨과 긴 실행 작업. 우리는 원인을 확인했습니다. 이를 해결하기 위해, 우리는 생산 환경에 적용하기 전에 클러스터 구성 변경을 검증하고 있습니다. 우리는 30 분에 있는 갱신을 제공할 것입니다.

3. 2026년 6월 26일 오후 10:57 UTCidentified

   우리는 해결에 계속됩니다. 우리의 팀은 생산 환경에 적용하기 전에 클러스터 구성 변경을 검증합니다. 우리는 30 분에 있는 갱신을 제공할 것입니다.

4. 2026년 6월 26일 오후 11:57 UTCmonitoring

   우리는 충분한 용량으로 새로운 클러스터를 제공했으며 이제는 작업을 routing합니다. Query 성능은 클러스터 안정화로 점차 회복될 것으로 예상됩니다. 우리는 상황을 밀접하게 감시하고 있습니다. 우리는 1 시간에 있는 갱신을 제공할 것입니다.

5. 2026년 6월 27일 오전 1:13 UTCresolved

   미국 지역의 Hive 쿼리 성능 향상은 해결되었습니다. 우리는 성공적으로 새로운 클러스터를 제공하고 모든 트래픽을 전달했습니다. 시스템은 일반적으로 운영됩니다. 감사합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 6월 25일 오전 11:46 UTCresolved

   해결 — 일부 결과 수출 (데이터 내보내기) 미국, 도쿄 및 EU 지역의 작업은 6 월 24, 2026 21:00 UTC 및 6 월 25, 2026 05:26 UTC 사이에 실패하거나 지연 될 수 있습니다. 이 기간 동안, compute 노드가 intermittently unstable, 이는 수출 작업을 완료하기 전에 종료 할 수 있습니다. 어떤 경우에는 영향을받는 직업은 명확한 오류 메시지없이 종료 할 수 있습니다. 문제는 해결되고 모든 시스템은 일반적으로 작동합니다. 데이터 무결성은 영향을받지 않습니다. Treasure Data의 소스 데이터는 비공개되었습니다. 이 창에서 외부 대상에 수출 작업의 배송은 중단되었습니다. 이 창 도중 result/data 수출을 ran 경우에, 우리는 산출이 불완전한 경우에 그것을 완료하고 재 실행하는 것을 추천합니다. 우리는 또한 영향 받은 고객을 직접 접촉할 것입니다. 감사합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 6월 24일 오전 11:11 UTCresolved

   우리는 기록 이메일 사건 자료에 있는 지연을 확인했습니다 (열리고, 누르고, 도약, 납품 사건 및 과실 사건과 같은) 고객 사건 테이블에. 유효 기간 (대략): - 6월 22, 03:45 UTC - 6월 23, 04:15 UTC - 6월 23, 07:00 UTC - 6월 24, 07:30 UTC 이 기간 동안 이메일 이벤트 데이터 기록이 지연되었습니다. 이메일 배달 자체는 영향을받지 않았습니다. - 이메일은 일반적으로 보내지고 수신되었습니다. 문제는 해결되고 모든 시스템은 일반적으로 작동합니다. 지연된 사건은 완전히 가공되었습니다. 이벤트 또는 error event 테이블에 ran 쿼리가 영향을받는 기간 동안, 우리는 정확한 결과를 얻기 위해 그 쿼리를 다시 실행합니다. 우리는 어떤 불편든지를 위해 apologize.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 5월 5일 오후 4:20 UTCidentified

   Incident: Real-time Profile Deletion Workflow Failures Status: Identified Impacted Regions: EU01, US01, Tokyo, AP03 (USA) Update (May 5, 2026 - 11:19 AM CDT) We have identified the root cause of the failures affecting Real-time (RT) bulk profile deletion, load, and stitch workflows in the affected regions. Summary of the Issue: A backend configuration issue resulted in a loss of necessary permissions for the service responsible for processing Real-time bulk profile operations. As a result, impacted workflows are failing with an "Authorization" or "400" error when attempting to invoke internal functions. Current Status: Our engineering team has developed a fix and is currently in the process of deploying it to all affected regions. We expect service to be restored shortly after the deployment is completed. We will provide a further update once the fix has been fully deployed and we have confirmed that workflow processing has returned to normal.

2. 2026년 5월 5일 오후 4:23 UTCidentified

   We are continuing to work on a fix for this issue.

3. 2026년 5월 5일 오후 5:43 UTCresolved

   We have applied the fix, and are observing that traffic is flowing correctly now.

1. 2026년 4월 27일 오후 5:31 UTCmonitoring

   Between 8:05 AM and 8:30 AM PDT, customers operating in the EU01 (Europe) region may have experienced intermittent errors (5xx) affecting two primary areas: Data Ingestion: Errors when attempting to send records via the Ingest API. Real-Time Personalization: Request failures for personalization and profile lookup services. The disruption was caused by an service interruption with an upstream provider in our data processing layer within the eu-central-1 region. This prevented our systems from successfully persisting incoming data to our streaming infrastructure and executing real-time lookups during the affected window. The upstream provider has confirmed the issue is resolved. Our engineering team monitored the recovery, and we have confirmed that all services in the EU01 region have returned to normal operating parameters. Data Integrity: For data ingestion, records that were rejected with a retryable error code during this window should be resubmitted. Records that have already been successfully ingested following the recovery require no further action. Personalization: Real-time request success rates have returned to 100%. We are continuing to monitor the stability of the region. We apologize for any inconvenience this may have caused to your operations. For further questions, please contact our support team at [email protected].

2. 2026년 4월 27일 오후 6:25 UTCresolved

   The upstream provider has restored service.

1. 2026년 2월 18일 오후 8:45 UTCinvestigating

   We are investigating a possible problem currently affecting Treasure Insights. We will provide an update as soon as we know more.

2. 2026년 2월 18일 오후 9:27 UTCidentified

   We have partially resolved the incident. We are continuously working to resolve the incident.

3. 2026년 2월 18일 오후 9:32 UTCmonitoring

   The performance went back to normal, and no errors are observed now. We will monitor at least for 15 minutes.

4. 2026년 2월 18일 오후 10:00 UTCresolved

   This incident has been resolved.

1. 2026년 1월 21일 오전 2:55 UTCinvestigating

   Starting at approximately 17:00 PST, we observed increased latency affecting all operations accessing table resources in Plazma. At around 19:00 PST, we applied temporary tuning to the database managing table resources and confirmed recovery based on internal performance metrics. We are currently continuing to monitor the system to ensure overall performance remains stable. Visible impacts are: - Streaming, Mobile, and JavaScript/Browser imports may delay - Jobs execution may delay - Table creation may error - Console execution may delay - Plazma Public API may return errors - Treasure Workflow may delay and fail - Workflow REST API may be unavailable - Workflow operations in Console and CLI may become unavailable - Presto JDBC/ODBC queries and CDP segmentation queries may fail - Console Table preview update may delay - The REST API to submit and cancel jobs may be unavailable - Data Connector Integrations may become unavailable - ADH (Ads Data Hub) and DCR (Data Clean Room) service may be unavailable - ADL (Active Data Layer) service may be unavailable We will send an additional update in 30 minutes

2. 2026년 1월 21일 오전 3:37 UTCidentified

   We identified the same issue in the Tokyo region and applied database parameter tuning. We are currently assessing the impact of this change on system performance. As a result of this temporary mitigation applied in both the US and Tokyo regions, the following impact is observed: In Data Workbench, updates to table metadata for row counts and preview data are temporarily paused. We will continue monitoring and provide further updates as we make progress.

3. 2026년 1월 21일 오전 3:40 UTCidentified

   We are continuing to work on a fix for this issue.

4. 2026년 1월 21일 오전 4:06 UTCidentified

   Performance in the Tokyo region improved at approximately 12:50 JST. The Tokyo region had been experiencing gradually increasing performance degradation since around 09:00 JST. We are currently proceeding with the steps to resume updates of table metadata in Data Workbench. Due to the temporary pause of metadata updates, application metrics that rely on this information, such as Parent Segment size, have also been temporarily not updated. We will continue monitoring the system and share further updates as needed.

5. 2026년 1월 21일 오전 4:12 UTCidentified

   In the US region, table metadata updates have been resumed. At this point, the system in the US region is expected to be fully recovered, and we are continuing to monitor it closely. For the Tokyo region, metadata updates will be resumed after we complete confirmation of system performance. We will provide another update when this step begins.

6. 2026년 1월 21일 오전 4:41 UTCmonitoring

   The system in the US region is operating normally with no observed issues. In the Tokyo region, table metadata updates have also been resumed. At this point, the Tokyo region is expected to be fully recovered, and we will continue to monitor system performance. Once stability is fully confirmed, we plan to close this status page.

7. 2026년 1월 21일 오전 5:07 UTCresolved

   Incident Impact Summary (Plazma / Table Resources) We have confirmed that the system in the Tokyo region is operating normally with no remaining issues. What happened - All operations accessing Plazma table resources experienced increased latency. When - US region: 17:00 PST – 18:40 PST - Tokyo region: 09:00 JST – 12:50 JST Temporary impact during recovery - Updates to table row counts and preview data were temporarily paused. Recovery status - US region: Table metadata updates resumed at 20:00 PST. - Tokyo region: Table metadata updates resumed at 13:40 JST. Both regions are now fully recovered. Data integrity - No data loss or data corruption occurred. We will prepare and publish a post-mortem document to explain the circumstances under which this incident occurred one day after the recent system maintenance. With this confirmation, the incident is now closed.

8. 2026년 1월 26일 오후 6:36 UTCpostmortem

   ## Post-Mortem Summary This incident was related to a database maintenance performed on January 19, during which management of Plazma table resources was migrated from the existing RDBMS to a dedicated Aurora database. The purpose of this change was to better isolate table resource workloads and improve long-term scalability. The migration itself completed successfully, and both the original database and the newly introduced Aurora database were operating normally immediately after the maintenance. On the following day, when internal batch processes began running, the newly introduced database experienced unexpected load. Investigation determined that the internal batch system was configured to connect to the master database endpoint instead of a reader endpoint. As a result, internal batch processing competed with user-facing requests, causing increased latency when accessing table resources. To mitigate the impact and enable rapid recovery, temporary database tuning was applied. This tuning was intended solely as a short-term measure to stabilize the system and has since been fully reverted. The permanent fix consisted of correcting the configuration of the internal batch system so that it accesses the appropriate database endpoint. Following these actions, system performance recovered in both the US and Tokyo regions, and all services returned to normal operation. No data loss or data corruption occurred. To prevent similar issues in the future, we are reviewing our configuration and deployment practices, including reducing configuration differences between staging and production environments and strengthening validation of database endpoints used by internal workloads.

1. 2025년 12월 10일 오전 6:03 UTCresolved

   An unexpected behavior occurred in the REST API "GET /v3/job/result/{job_id}" which caused it to return only a partial set of results. This issue stemmed from an update to the job result download mechanism implemented around 2025/12/09 01:00 (UTC). The issue was resolved after a fix was applied around 2025/12/10 04:36(UTC). The affected API is used through the following methods: - Directly calling the REST API - Using functions in libraries (e.g., pytd) that reference job results - Toolbelt commands that refers to job results - Setting store_last_results:true in the td>:/td_run> operator in Treasure Workflows - Using the td_for_each>, td_wait> and td_wait_table>: operators in Treasure Workflows Unfortunately, we are unable to identify which API requests were affected. Please compare the number of results retrieved by your job with the download results to see if you were affected. We sincerely apologize for the inconvenience this has caused.

1. 2025년 12월 5일 오전 9:18 UTCinvestigating

   We are currently experiencing issues accessing Treasure Insights. Our investigation has identified that this is caused by an outage with a third-party service provider utilized by Treasure Insights. We are monitoring the situation and working with the provider to resolve the issue. We will provide updates as soon as more information becomes available.

2. 2025년 12월 5일 오전 9:22 UTCmonitoring

   The third-party service provider has implemented a fix. We are monitoring the results.

3. 2025년 12월 5일 오전 9:30 UTCresolved

   We confirmed the third-party service is now operational. The incident has been resolved.

1. 2025년 11월 5일 오전 3:49 UTCinvestigating

   We have encountered a temporary issue with the availability of Premium Audit Logs for Artificial Intelligence services (AI Agent Foundry and Audience Agent) during the period of November 4th 23:19:26 UTC to November 5th 00:57:55 UTC. While some data during this period may not have been captured, our engineering team is actively investigating the situation. We are taking all necessary steps to restore full service and ensure that all future logs are recorded without issue. We apologize for any inconvenience this may have caused and will keep you updated on our progress.

2. 2025년 11월 5일 오전 3:55 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

3. 2025년 11월 5일 오전 7:58 UTCresolved

   Services have been restored to normal operations, and all of our systems are reporting healthy once again. If you observe any lingering issues, please connect with our support team, and we would be happy to help: https://docs.treasuredata.com/articles/#!pd/contacting-treasure-data-support

1. 2025년 10월 20일 오전 8:53 UTCinvestigating

   We are aware of an issue affecting log writing and reading for the Profile API in all regions. This is due to an incident with an upstream service. Our team is monitoring the provider's status. We will provide an update shortly.

2. 2025년 10월 20일 오전 10:15 UTCinvestigating

   We are also investigating reports indicating that this incident might be causing login errors for customers using SSO (Single Sign-On) to log into our service. Customers attempting a new login via SSO may be unable to access the service. We believe users who are already logged in (have an active session) and users logging in with methods other than SSO (e.g., username/password) are not affected by this login issue. We are working to confirm this.

3. 2025년 10월 20일 오후 3:09 UTCinvestigating

   Our upstream service provider is gradually recovering its services, and our services are gradually recovering too. SSO login is working fine, however profile API 1.0 is still recovering its service with latency. As the upstream service provider incident is still ongoing, you might still encounter unexpected errors or issues. We will closely monitoring our services and work with our upstream service provider.

4. 2025년 10월 20일 오후 6:53 UTCidentified

   We are continuing to work with our service provider to track this issue. Customers may continue to observe higher latency than normal and may notice delays in processing. We are monitoring the situation closely and are adding additional capacity in anticipation of a recovery. As this situation develops, we will keep you updated on any changes in expected behavior.

5. 2025년 10월 20일 오후 9:32 UTCresolved

   Delays should be improving for all customers, and services should be returning to normal. Given the similarity of the two issues, we'll continue tracking any concerns related to this interruption as part of the "[US Region] Issue Affecting Treasure Data Services" issue. For further updates, please track here: https://status.treasuredata.com/incidents/w7v5wtmkdllj If you experience continued issues specifically relating to our Profiles API or SSO Logins, please contact our support team: https://docs.treasuredata.com/articles/#!pd/contacting-treasure-data-support

1. 2025년 10월 20일 오전 8:27 UTCinvestigating

   We are currently investigating an issue originating from an upstream service provider used by our infrastructure. This may be affecting the normal operation of some Treasure Data services. We are working to determine the scope of the impact. Observed symptoms may include, but are not limited to, the failure of various jobs (such as Trino, Hive, Result Export, Import, and Custom Script execution) to start. Our team is actively monitoring the situation and working with the provider. We will provide further updates as more information becomes available.

2. 2025년 10월 20일 오후 3:05 UTCinvestigating

   Our upstream service provider is gradually recovering its services, and our services are gradually recovering too. Most of our Treasure Data services are back to normal except for Custom Script, autoML and realtime services such as profile API 1.0, and realtime 2.0. As the upstream service provider incident is still ongoing, you might still encounter unexpected errors or issues. We will closely monitoring our services and work with our upstream service provider.

3. 2025년 10월 20일 오후 6:49 UTCinvestigating

   We are continuing to monitor ongoing recovery efforts, and most of our systems remain operating. As the situation with our upstream provider develops we will react if we discover any new issues. At this time, we are observing delays in our systems, including Profile API 1.0 and Realtime 2.0. Requests are being processed as they have been received, but users may see a slowdown in results, and may notice delays when updating configurations or journeys. You may notice continued slower performance or unexpected errors. We are working with our service provider to address these issues and will provide an update with new information soon.

4. 2025년 10월 20일 오후 7:35 UTCmonitoring

   We are seeing continued recovery across our systems, and are currently working to process any buffered or delayed messages. Customers may continue to observe delays in data processing and may notice slower-than-usual processing of configuration changes. We expect these delays to decrease as our systems catch up. Our team is continuing to track recovery closely, and we'll inform you of any new developments.

5. 2025년 10월 20일 오후 9:42 UTCmonitoring

   Service levels continue to improve as upstream services become more stable. Users may still see processing delays, though those should be decreasing as we process the backlog of messages from this event. We are continuing to monitor our systems and deploy capacity as needed. We will update you with additional information as it develops.

6. 2025년 10월 20일 오후 11:15 UTCresolved

   Services have been restored to normal operations, and all of our systems are reporting healthy once again. If you observe any lingering issues, please connect with our support team, and we would be happy to help: https://docs.treasuredata.com/articles/#!pd/contacting-treasure-data-support