Mindtickle 장애 기록

1. 2026년 10월 24일 오후 1:19 UTCresolved

   제품정보 • PHP 실행 시간 (PHP2Shell)의 두 가지 중요한 취약점은 10 월 21, 2026에 공개적으로 공개되었습니다. • 고객 학습 사이트 및 사용자 정의 도메인 배포를 포함한 Mindtickle 플랫폼은 주로 Go, JavaScript, TypeScript, Python 및 Java에 내장되어 있으며 영향을받지 않습니다. 공급 업체 • PHP를 사용한 1개의 지원 성분: in-app “Report an issue” 의견 모양을 위한 백엔드 서비스. 다른 서비스에서 실행되는 동일한 지원 패널에 있는 도움 입자 수색 그리고 잡담 특징에서 분리되고 영향을 미치지 않습니다. • 그것은 피드백 양식을 제공하고 사용자가 하나를 제출 할 때 보고서를받습니다. 이 서비스는 우리의 지원 팀의 헬프 데스크에 대한 보고서를 전달합니다. • 핵심 Mindtickle 플랫폼에서 별도로 실행됩니다. 학습 사이트가 제공되는 방법의 일부가 아닙니다. 사용자 로그인 또는 콘텐츠 학습 및 열거 데이터가 저장되거나 처리됩니다. 해당 데이터를 보유하는 시스템에 대한 액세스가 없습니다. 관련 기사 • 10 월 23, 2026에, 우리는 PHP 보안 자문에서 권장되는 조정 변경을 적용하여 업그레이드를 준비하면서 악용의 위험을 줄일 수 있습니다. • 10월 24일, 2026일, 우리는 모든 생산 지구의 PHP 8.3.36에 구성 요소를 업그레이드하고 수정을 확인. • 우리는 또한 방어 깊이 측정으로 요청 필터링 컨트롤을 추가했습니다. 부품은 가동 중단 없이, 서비스에서 남아 있습니다. 투자정보 • 우리는 10 월 20, 2026, 10 월 24, 2026에 대한 재약을 통해 공개 공개 공개 공개 공개 공개 전에 로그를 검토했습니다. • 우리는 어떤 고객 데이터가 액세스되거나 노출 된 증거를 발견했습니다. 자주 묻는 질문 • 암호, API 키, SSO 설정 또는 통합 식별을 회전 할 필요가 없습니다. • 우리는 모니터를 계속하고이 페이지를 업데이트합니다. • 질문, 지원 증거, 또는 공식적인 attestation를 위해, 이메일 [email protected].

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 21일 오후 1:13 UTCinvestigating

   사용자는 현재 Mindtickle 플랫폼에 로그인할 수 없습니다. 이미 로그인한 사용자는 영향을받지 않고 플랫폼을 계속 사용할 수 있습니다. 우리의 팀은 적극적으로 문제를 조사하고 있습니다.

2. 2026년 9월 21일 오후 1:53 UTCidentified

   우리는 로그인 문제의 뿌리 원인을 식별하고 현재 패치에서 작업하고 있습니다.

3. 2026년 9월 21일 오후 3:10 UTCmonitoring

   우리는 복구의 징후를보고, 일부 사용자는 이제 Mindtickle 플랫폼에 로그인 할 수 있어야합니다. 우리는 복구를 모니터링하고 나머지 영향력있는 사용자를 통해 작동합니다.

4. 2026년 9월 21일 오후 3:46 UTCmonitoring

   업데이트 : 로그인 기능은 이제 사용자의 대다수를 위해 복원되었습니다. 우리는 전체 복구 및 안정성을 보장하기 위해 긴밀히 플랫폼을 모니터링 할 것입니다.

5. 2026년 9월 21일 오후 4:42 UTCresolved

   플랫폼에 영향을 미치는 로그인 문제는 해결되었습니다. 사용자는 일반적으로 로그인 할 수 있습니다. 중단은 04 : 52 AM PT에서 9 : 42 AM PT로 지속되었습니다. 고객 데이터가 영향을 미쳤습니다. 이미 Mindtickle에 로그인 한 사용자는 어떤 우려없이 플랫폼에 액세스 할 수있었습니다. 우리는 이런 혼란에 대 한 미안 해요. 로그인 할 수없는 경우, 저희에게 연락하십시오 @ [email protected]. 내부 포스터를 완료하고 다음 몇 일 안에 RCA를 게시합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 9월 16일 오후 1:33 UTCidentified

   Salesforce 관련 워크플로에 영향을 미치는 문제의 인식은 Salesforce의 측면에 대한 지속적인 정전에 의해 발생했습니다. 이것은 Mindtickle 내의 문제점의 결과가 아닙니다. 영향을받는 것은: Salesforce 통합을 사용하는 고객은 다음의 실패 또는 지연을 볼 수 있습니다. 1. Salesforce 통합 (SFDC) : CRM 데이터 동기화, 사용자 제공 / 동기화, 모듈 / 지원 권장 사항 및 학습 성능은 Salesforce에 동기화 2. 디지털 판매실: syncing 기회, 접촉, Salesforce 기회를 위한 자동적인 방 창조, 및 Salesforce에서 계정, 및 기록실 활동은 Salesforce로 역행시킵니다. Core DSR 기능(creating and sharing room, content, analytics)은 사용할 수 있습니다. 3. AI를 호출 : Salesforce 레코드에 대한 녹음을 매핑하고 Salesforce 기회 / 계정 필드를 한 번 사용할 수 있으며 Salesforce에 대한 통화 통찰력을 푸시하고 Salesforce Dialer 통화 캡처를 판매합니다. Core Call AI 기능 (기록, 비문, 통찰력)을 사용할 수 있습니다. 영향을받지 않는 것: Non-Salesforce 워크플로우, 핵심 제품 기능 및 Salesforce 통합을 사용하는 고객은 일반적으로 모든 작동. 우리는 적극적으로 Salesforce 정전을 모니터링하고 영향을 평가하고 있습니다.

2. 2026년 9월 16일 오후 5:01 UTCresolved

   Salesforce-side outage가 해결되었습니다. 모든 영향을받는 워크플로우가 정상적으로 작동됩니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 31일 오전 11:08 UTCinvestigating

   판매자 Copilot은 이 사용 사례를 지원하는 Azure 데이터 센터의 다운스트림 아웃리지로 인해 높은 오류율을 경험합니다. 또한, Mindtickle 채팅 지원은 쿼리에 응답을 생성하는 실패를 경험할 수 있습니다.

2. 2026년 8월 31일 오전 11:40 UTCidentified

   문제는 식별되고 수정이 구현됩니다.

3. 2026년 8월 31일 오후 12:10 UTCmonitoring

   수정이 구현되어 상황을 모니터링하고 있습니다.

4. 2026년 8월 31일 오후 1:06 UTCresolved

   사건은 해결되었습니다, 그리고 모든 체계는 지금 가동입니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 8월 19일 오후 5:16 UTCinvestigating

   SSR, Custom Dashboards, Manager & Relationship 보고서 및 Overview / Adoption / Performance Report에 대한 특정 분석 보고서에 stale 데이터를 볼 수 있는 문제점을 조사하고 있습니다. 다른 보고 및 제품 영역은 불완전합니다. 분석이 현재 데이터를 반영하면 작업이 필요하지 않습니다. 우리는 곧 업데이트를 게시 할 것입니다.

2. 2026년 8월 20일 오전 2:07 UTCresolved

   이 문제는 해결됩니다. 모든 영향 보고서는 현재 데이터를 보여줍니다. 감사합니다.

공식 인시던트 업데이트를 자동 번역했습니다.

1. 2026년 6월 13일 오전 12:35 UTCinvestigating

   We are currently experiencing a partial service disruption on Mindtickle platform. Users may encounter errors, intermittent failures, or degraded performance across the platform. Our engineering team is actively investigating and mitigating the issue while closely monitoring recovery efforts.

2. 2026년 6월 13일 오전 12:51 UTCidentified

   We have identified the cause of the elevated error rates and are deploying mitigation measures. We are monitoring the platform closely and working to restore normal service.

3. 2026년 6월 13일 오전 1:01 UTCmonitoring

   Mitigation has been deployed and services are operating normally. We are continuing to monitor the platform closely to ensure stability.

4. 2026년 6월 15일 오전 3:36 UTCresolved

   The incident has been resolved and services are operating normally. We will continue to monitor the platform to ensure stability. A detailed Root Cause Analysis will be shared shortly.

5. 2026년 6월 18일 오후 12:24 UTCpostmortem

   # **Incident Summary** On June 12, 2026, Mindtickle experienced a service disruption caused by an unexpected surge in processing activity within one of our backend workflows. The resulting increase in downstream traffic exceeded the capacity of a critical platform dependency, leading to service degradation and eventual unavailability. The issue was mitigated by reducing processing throughput and allowing affected systems to recover. **Impact Duration:** **3 hours and 15 minutes**. ## **Impact** During the incident window, customers may have experienced: * Delays in invitation-related workflows * Elevated latency and intermittent errors across affected services * Temporary degradation of platform functionality dependent on the impacted backend systems ## **Incident Timeline** * ‌**Jun 12, 03:00 PM**: A critical backend dependency becomes saturated, resulting in service degradation and elevated error rates. * **Jun 12, 03:15 PM**: The issue is detected through automated monitoring and customer reports. Investigation begins. * **Jun 12, 04:50 PM**: Mitigation measures are implemented to reduce processing throughput and stabilize affected systems. * **Jun 12, 05:46 PM**: Platform functionality is restored fully ## **Root Cause** A backend workflow generated a significantly higher volume of processing activity than historical norms. As the system worked through the resulting backlog, requests propagated through multiple downstream services, creating sustained load across the platform. While each component behaved as designed, the combined volume exposed capacity and protection gaps within the processing chain. The resulting amplification effect overwhelmed a critical backend dependency, causing service degradation and eventual unavailability. ## **Resolution** The team mitigated the incident by reducing the rate at which backlog processing occurred, allowing downstream systems to stabilize and recover. Once traffic levels returned to normal operating ranges, affected services resumed normal operation and platform functionality was fully restored. ## **Corrective and Preventive Actions** * Introduce rate limiting and additional safeguards for high-volume processing workflows to prevent a single workflow from generating excessive downstream load. * Implement backpressure, circuit-breaking, and load-shedding mechanisms across critical processing paths to better protect downstream dependencies during traffic spikes. * Review platform capacity limits, concurrency settings, and monitoring to improve resilience and provide earlier visibility into abnormal processing patterns.

1. 2026년 6월 3일 오후 5:06 UTCresolved

   On June 2nd, between 7:19 AM PDT and 9:21 AM PDT, our third-party recording provider experienced a disruption that prevented the Call AI bot from joining meetings. A limited number of customers were impacted, and unfortunately, the affected recordings are non-recoverable. We sincerely apologize for the disruption and any impact to your workflows. The issue is fully resolved, and recordings are functioning normally. If your account was affected, your account team will reach out with specific details.

1. 2026년 5월 21일 오후 3:29 UTCinvestigating

   Users may experience issues starting Two-Way Roleplay sessions. In addition admins may be unable to preview roleplays. The team is actively investigating the issue and working toward resolution.

2. 2026년 5월 21일 오후 3:59 UTCidentified

   We have identified the root cause as a service disruption at a third-party provider that powers parts of the Two-Way Roleplay workflow. We are actively working with the vendor to restore the service and recover impacted functionality as quickly as possible.

3. 2026년 5월 21일 오후 5:07 UTCidentified

   Recovery efforts are still ongoing, and we continue to work closely with our third-party partners to restore the impacted service. Our teams remain actively engaged on the issue.

4. 2026년 5월 21일 오후 5:18 UTCidentified

   We are seeing partial recovery in the impacted service, and some roleplay attempts are now completing successfully. We continue to work with the third-party provider toward full restoration.

5. 2026년 5월 21일 오후 5:49 UTCmonitoring

   The impacted systems are now operational again, and roleplay workflows are functioning successfully. We are continuing to monitor the systems closely to ensure stability.

6. 2026년 5월 21일 오후 6:30 UTCresolved

   All impacted systems are now operating normally, and Two-Way Roleplay functionality has been fully restored. We will continue to monitor the systems closely. The incident is now resolved.

1. 2026년 5월 18일 오후 1:17 UTCinvestigating

   The 'Featured Hubs' widget, wherever used on the Mindtickle platform, is not loading. The Hubs and individual media/assets are working properly. We are currently investigating this. All other capabilities of the Mindtickle platform are operating normally.

2. 2026년 5월 18일 오후 1:21 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2026년 5월 18일 오후 1:31 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2026년 5월 18일 오후 1:55 UTCresolved

   This incident has been resolved. The 'Featured Hubs' widget is now loading as expected, and the Mindtickle platform is fully operational.

1. 2026년 5월 11일 오후 2:25 UTCinvestigating

   We are currently investigating an issue impacting call recordings in Call AI. Users may experience failures while recording calls. The team is actively working on identifying the root cause and restoring normal functionality. Further updates will be shared shortly.

2. 2026년 5월 11일 오후 4:35 UTCresolved

   The issue has now been identified and resolved, and Call AI services are operating normally again. We will share a detailed Root Cause Analysis (RCA) shortly.

1. 2026년 3월 26일 오전 11:50 UTCresolved

   Between 07:50 AM and 11:25 AM PT on March 24, 2026, the Mindtickle platform experienced a service disruption affecting Call Recordings. Full service was restored by 11:25 AM PT. We are currently conducting a thorough investigation and will publish a detailed Root Cause Analysis (RCA) shortly.

2. 2026년 3월 27일 오전 3:50 UTCpostmortem

   We experienced a service disruption impacting **Call AI bot functionality**. During this time, **select scheduled meetings were affected**, where Call AI bots were unable to join and record. The issue has been fully resolved, and services have returned to normal operation. ‌ **Impact** * Call AI bots were unable to join **select scheduled meetings** * Call recordings and transcriptions were not generated for impacted meetings ‌ **Timeline** * **07:50 AM PT:** Incident began; bots unable to join select meetings * **07:52 AM PT:** Alerts triggered; issue detected and investigation initiated * **09:00 AM PT:** Root cause identified within Call AI bot infrastructure * **10:15 AM PT:** Mitigation measures applied; service recovery in progress * **11:25 AM PT:** Service fully restored; bots resumed normal operation ‌ **Root Cause** This incident was caused by a **transient issue within the Call AI bot infrastructure**, which impacted service availability during the affected period. ‌ **Next Steps** * Exploring & implement enhanced failover mechanisms to improve system resilience * Introducing more granular monitoring and alerting for faster detection ‌ We apologize for the inconvenience caused and appreciate your patience.

1. 2026년 2월 19일 오후 2:33 UTCinvestigating

   we are currently investigating an issue affecting the Analytics Platform. While out of the box dashboards remain functional, users may be unable to open existing custom reports or create new ones. Our engineering team is identifying the root cause, and we will provide an update as soon as more information is available. We apologize for the interruption to your workflow.

2. 2026년 2월 19일 오후 2:50 UTCinvestigating

   We are continuing to investigate this issue.

3. 2026년 2월 19일 오후 2:52 UTCresolved

   We have successfully resolved the issue affecting the Analytics Platform. All custom reports should now load correctly, and the ability to create new reports has been fully restored. Our team has verified the fix, and we are monitoring the system to ensure continued stability. Thank you for your patience while we worked to get this back online.

1. 2026년 2월 12일 오전 3:29 UTCinvestigating

   We are observing high error rates for both admins and end users for select customer instances. We are investigating the issue and will share an update shortly.

2. 2026년 2월 12일 오전 3:29 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2026년 2월 12일 오전 3:36 UTCmonitoring

   We have implemented a fix and are monitoring the progress. We are seeing the error rates coming down.

4. 2026년 2월 12일 오전 3:37 UTCresolved

   The incident has been resolved. All admins and end users should be able to access the platform without any concerns.

1. 2026년 2월 6일 오후 1:23 UTCresolved

   [Resolved] A subset of customers (admins only) experienced intermittent failures when admins attempted to upload content to the platform. End users were not impacted and were able to view existing content without issues. The issue has been resolved, and all admin content upload workflows are operating as expected. Incident Timeline Start Time: 05 Feb 2026, 11:15 PM PT Resolved Time: 06 Feb 2026, 05:12 AM PT We will share a detailed RCA once the post-incident review is complete.

1. 2025년 11월 18일 오후 2:45 UTCidentified

   The Two-Way Roleplay Missions feature is currently experiencing an outage and is inaccessible. This is a direct consequence of the ongoing, widespread Cloudflare network outage. We are closely monitoring Cloudflare's recovery efforts and expect the service to be restored as soon as their network disruption is resolved.

2. 2025년 11월 18일 오후 2:54 UTCmonitoring

   Cloudflare has confirmed the deployment of a fix for the underlying network issue. We are now observing a significant decrease in error rates on our platform, with Two-Way Roleplay Missions starting to become accessible again. We will continue to monitor the platform closely as services stabilize, and will post a final resolution notice once all operations are confirmed to be fully back to normal.

3. 2025년 11월 18일 오후 3:37 UTCmonitoring

   Two-Way Roleplay Missions are operational. We will continue to monitor the platform closely to ensure stability before marking this incident as fully resolved.

4. 2025년 11월 18일 오후 5:17 UTCresolved

   All services are normal. A detailed Root Cause Analysis (RCA) will be published shortly.

1. 2025년 10월 20일 오후 4:30 UTCidentified

   There has been a second surge of error rates and latencies reported due to an AWS outage in the US-East-1 region. The AWS team is actively working on this and we are monitoring the status closely. Though the platform is up and some features are working, select customers and users may face intermittent failues in accessing the platform. We will keep updating the status page as soon as we receive updates from AWS. We apologize for the inconvenience caused here. AWS Outage Status: https://health.aws.amazon.com/health/status

2. 2025년 10월 20일 오후 5:51 UTCidentified

   As per AWS, their internal subsystems are now showing early signs of recovering in a few Availability Zones (AZs) in the US-EAST-1 Region. They are now applying mitigations to the remaining AZs at which point we expect launch errors and network connectivity issues to subside. We will share an update once the AWS team has applied the mitigations and we have verified at our end.

3. 2025년 10월 20일 오후 7:43 UTCmonitoring

   Post the recovery and fix from the AWS team, we are observing a significant improvement in the Mindtickle platform performance. Most Mindtickle workflows are now functioning normally. Our teams continue to monitor the situation closely and will provide an update once the issue is fully resolved. AWS Outage Status: https://health.aws.amazon.com/health/status

4. 2025년 10월 20일 오후 8:55 UTCresolved

   The incident has been resolved, and the Mindtickle platform is now operating normally. We continue to closely monitor performance to ensure everything remains stable.

1. 2025년 10월 20일 오전 10:07 UTCmonitoring

   Earlier today, some Mindtickle customers experienced high error rates and intermittent service disruptions due to an AWS outage in the US-East-1 region. AWS has since deployed a fix, and we’re observing steady recovery across our systems. Error rates are declining, and most services are returning to normal. Our teams continue to monitor the platform closely to ensure full stability. We’ll share a final update once all systems are fully restored. Thank you for your patience and understanding.

2. 2025년 10월 20일 오전 11:03 UTCresolved

   The incident has been resolved, and the Mindtickle platform is operating normally.

1. 2025년 10월 16일 오전 3:54 UTCinvestigating

   We’ve identified an issue where specific pages within the Analytics section are displaying stale or incorrect data for select customers. Our team is actively investigating the issue and will share further updates as soon as possible. Impacted Areas: 1. OData Routes (Partial Routes) – Stale data visible 2. Analytics Platform Pages (Series, Modules, Learner & Learner Groups) – Incorrect data displayed 3. Custom Reports shared with customers via Email (in the last 12 hours) – Incorrect data displayed

2. 2025년 10월 16일 오전 4:29 UTCmonitoring

   A fix has been implemented and we are running a sanity check at our end.

3. 2025년 10월 16일 오전 4:50 UTCresolved

   This incident has been resolved. We will share an RCA once the postmortem is complete.

1. 2025년 10월 15일 오전 11:19 UTCresolved

   Between October 14, 2025, 12:10 AM PT and October 15, 2025, 3:00 AM PT, select Call AI customers experienced a delay in the processing of call recordings. Impact: 1. Call recordings generated during this period were temporarily not visible on the Call Listing page. What Continued to Work: 1. All recordings captured before the incident window remained accessible on the Call Listing page. 2. For calls recorded during the incident, Recording Ready emails were successfully sent to end users, allowing access to the recordings via the email links. We are conducting a post-incident analysis to identify the root cause. A detailed Root Cause Analysis (RCA) report will be shared once the investigation is complete.

1. 2025년 9월 24일 오전 9:01 UTCinvestigating

   We're currently experiencing an high error rate in our in-platform analytics and are actively investigating the root cause to restore full functionality.

2. 2025년 9월 24일 오전 9:40 UTCidentified

   The issue has been identified and a fix is being implemented.

3. 2025년 9월 24일 오전 9:51 UTCmonitoring

   A fix has been implemented and we are monitoring the results.

4. 2025년 9월 24일 오전 10:09 UTCresolved

   A fix has been applied, and the incident has been resolved. We are continuing to monitor this closely.