Historial de interrupciones de Memsource

1. 15 de octubre de 2026 a las 9:44 UTCinvestigating

   Actualmente estamos investigando un problema que afecta a los servicios de Phrase TMS en la región de la UE, incluyendo el editor de CAT, API, gestión de proyectos, memoria de traducción y componentes relacionados. Los usuarios pueden experimentar errores o no poder acceder a estos servicios en este momento. Nuestro equipo está trabajando activamente para identificar la causa y restaurar la plena funcionalidad lo antes posible.

2. 15 de octubre de 2026 a las 9:58 UTCmonitoring

   Los servicios se han estabilizado y Phrase TMS en la región de la UE está operando normalmente. Seguimos monitoreando la situación.

3. 15 de octubre de 2026 a las 10:24 UTCresolved

   Este incidente ha sido resuelto.

Traducido automáticamente desde la actualización oficial del incidente.

1. 23 de septiembre de 2026 a las 8:48 UTCinvestigating

   Algunos usuarios podrían estar experimentando problemas con el acceso a Phrase TMS.

2. 23 de septiembre de 2026 a las 8:58 UTCidentified

   Se ha determinado la cuestión y se está aplicando una solución.

3. 23 de septiembre de 2026 a las 9:28 UTCmonitoring

   La solución ha sido implementada, y estamos monitoreando los resultados. Phrase TMS ahora se puede acceder sin más problemas.

4. 23 de septiembre de 2026 a las 10:03 UTCresolved

   Este incidente ha sido resuelto.

5. 30 de septiembre de 2026 a las 12:12 UTCpostmortem

   ## Introduction Nos gustaría compartir detalles sobre un incidente que afectó el acceso a Phrase TMS el 23 de septiembre de 2026. Entre las 9:02 AM y las 11:27 AM CEST, los usuarios que abrieron Phrase TMS de Phrase Platform no pudieron completar el registro. They were either caught in a redirect loop or returned to the Phrase TMS login page with a sign-in error. Los usuarios que ya tenían una sesión activa de Phrase TMS no se vieron afectados, y no se perdieron ni modificaron los datos de los clientes. Iniciar sesión en Phrase Platform siguió trabajando durante todo el incidente, tanto con una contraseña como con un solo signo-on. Así que firmó con una contraseña directamente en la página de inicio de sesión de Phrase TMS. Esta post-mortem explica lo que pasó, cómo se resolvió, y lo que estamos haciendo para evitar que vuelva a suceder. ## Timeline * **Sep 23, 2026 a las 9:02 AM CEST** – Una actualización de la aplicación web Phrase TMS fue en directo en producción. Incluía una mejora de la seguridad de cómo las manijas de flujo de inicio de sesión redireccionan después de iniciar sesión. Desde este punto, los usuarios que abren Phrase TMS de Phrase Platform no pudieron completar el registro. Poco después, las cuestiones se investigaron internamente. * **Sep 23, 2026 a las 10:59 AM CEST** – La actualización de las 9:02 AM CEST fue identificada como la causa, y comenzamos a preparar un rollback. * **Sep 23, 2026 a las 11:13 AM CEST** – El retroceso se verificó en nuestro entorno de prueba, y el despliegue a la producción comenzó. * **Sep 23, 2026 a las 11:27 AM CEST** – El retroceso fue vivo en todas las regiones de producción. El impacto de cara al cliente terminó. * **Sep 23, 2026 a las 11:28 AM CEST** – Confirmamos que la firma en Phrase TMS de Phrase Platform funcionó de nuevo. * **Sep 23, 2026 a las 12:04 PM CEST** – El incidente fue marcado como resuelto en nuestra página de estado. ## Root Cause The incident was caused by a security improvement to the Phrase TMS web application. Su objetivo era asegurarse de que los usuarios sólo se envían a destinos confiables después de que se inscriban. Para ello, la aplicación web sólo aceptó redirigir a la dirección web Phrase TMS. Sin embargo, cuando un usuario abre Phrase TMS de Phrase Platform, el proceso de inicio de sesión mueve legítimamente al usuario entre diferentes direcciones web de Phrase. Nuestros servidores ya verifican cada una de estas redirecciones contra una lista de dominios de Phrase de confianza y les permiten. El nuevo cheque en la aplicación de núcleo TMS fue más estricto que este cheque del lado del servidor y lo superó. Como resultado, las redirecciones legítimas fueron reemplazadas por la página de inicio de Phrase TMS, que comenzó el proceso de inicio de sesión de nuevo. Los usuarios se abrieron a través del registro en repetidas ocasiones o aterrizaron en la página de inicio de sesión de Phrase TMS con un error. Iniciar sesión en Phrase Platform siguió trabajando durante todo el incidente, tanto con una contraseña como con un solo signo-on. Así que firmó con una contraseña directamente en la página de inicio de sesión de Phrase TMS. El fracaso ocurrió en el paso donde un usuario registrado se mueve de Phrase Platform a Phrase TMS. Debido a esto, algunos usuarios afectados reportaron el problema como un problema de contraseña: ingresaron sus credenciales con éxito pero luego fueron enviados a una pantalla de inicio de sesión. ## Actions to Prevent Recurrence 1. ** Cambio rodado hacia atrás** – La actualización que causó el problema se reenrolló en todas las regiones de producción a las 11:27 AM CEST, que restauró el registro normal. 2. ** Monitoreo continuo del registro** – Añadimos cheques automatizados que funcionan regularmente en todas las regiones de producción y en nuestro entorno de prueba. Cada cheque realiza el registro completo de Phrase Platform en Phrase TMS y alerta inmediatamente a nuestros ingenieros en la llamada si falla. Antes de confiar en ellos, confirmaremos que estos cheques detectan el fallo exacto que ocurrió en este incidente.

Traducido automáticamente desde la actualización oficial del incidente.

1. 10 de septiembre de 2026 a las 5:06 UTCinvestigating

   Actualmente estamos investigando un problema que afecta a la sincronización de empleos entre Phrase Strings y Phrase TMS a través de webhooks en nuestra región de la UE. Los clientes pueden experimentar fallos o retrasos al sincronizar trabajos de traducción entre los dos productos. Nuestro equipo está trabajando activamente para identificar la causa raíz y restaurar la funcionalidad completa lo antes posible.

2. 10 de septiembre de 2026 a las 5:34 UTCmonitoring

   Se ha implementado y desplegado una solución para abordar los fallos de sincronización webhook entre Phrase Strings y Phrase TMS. Actualmente estamos monitoreando la situación para confirmar la plena estabilidad. Proporcionaremos otra actualización una vez que haya validado la resolución.

3. 10 de septiembre de 2026 a las 6:03 UTCresolved

   Nos complace confirmar que el problema de sincronización webhook entre Phrase Strings y Phrase TMS ha sido resuelto y verificado como totalmente operativo, incluyendo para los clientes del centro de datos de Estados Unidos. Este incidente está cerrado.

Traducido automáticamente desde la actualización oficial del incidente.

1. 1 de septiembre de 2026 a las 14:18 UTCinvestigating

   Actualmente estamos investigando un problema causando lentitud en la opinión de Jobs dentro de Phrase TMS (EU). Los usuarios pueden experimentar tiempos de carga retrasados o menor rendimiento al acceder a las funciones de gestión de proyectos. Nuestro equipo está trabajando activamente para identificar la causa raíz y restaurar el rendimiento normal lo antes posible.

2. 1 de septiembre de 2026 a las 15:00 UTCinvestigating

   Hemos identificado la causa raíz de la cuestión. Nuestro equipo está implementando activamente una solución. Proporcionaremos más actualizaciones a medida que avancemos.

3. 1 de septiembre de 2026 a las 15:34 UTCmonitoring

   Se ha implementado una solución y estamos monitoreando los resultados. Los clientes pueden necesitar limpiar el caché del navegador y cerrar todas las pestañas abiertas con TMS si todavía experimenta problemas.

4. 1 de septiembre de 2026 a las 16:23 UTCresolved

   La cuestión se ha resuelto y el desempeño es estable.

Traducido automáticamente desde la actualización oficial del incidente.

1. 31 de agosto de 2026 a las 15:06 UTCinvestigating

   Actualmente estamos experimentando errores intermitentes cuando nos comunicamos con Gengo, uno de nuestros proveedores de traducción de terceros. Esto está causando retrasos y errores de 502 en cálculo de precios y envío de pedidos para pedidos de traducción enrutados a través de Gengo, afectando tanto a centros de datos de la UE como de Estados Unidos. Gengo ha confirmado la cuestión al final y está investigando.

2. 2 de septiembre de 2026 a las 11:46 UTCresolved

   Gengo ha resuelto la cuestión subyacente al final. Los cálculos de precios y los envíos de pedidos de traducción a Gengo están trabajando de nuevo.

Traducido automáticamente desde la actualización oficial del incidente.

1. 31 de agosto de 2026 a las 13:11 UTCinvestigating

   Actualmente los usuarios no pueden abrir trabajos existentes y crear nuevos dentro de sus proyectos de Phrase TMS. Estamos investigando el tema.

2. 31 de agosto de 2026 a las 13:22 UTCinvestigating

   Seguimos investigando esta cuestión.

3. 31 de agosto de 2026 a las 13:46 UTCidentified

   Se ha determinado la cuestión y se está aplicando una solución.

4. 31 de agosto de 2026 a las 16:02 UTCmonitoring

   Se ha aplicado una solución y estamos monitoreando los resultados.

5. 31 de agosto de 2026 a las 16:53 UTCresolved

   La cuestión se ha resuelto.

6. 4 de septiembre de 2026 a las 8:45 UTCpostmortem

   ## Introduction Nos gustaría compartir detalles sobre un incidente que afectó a Phrase TMS el 31 de agosto de 2026. Entre las 2:26 y las 5:57 PM CEST, algunos usuarios de la página del Proyecto legado no pudieron utilizar acciones de Herramientas-menú tales como crear o editar trabajos y realizar análisis, y hacer clic para abrir un trabajo no lanzó el editor web de CAT como se esperaba, en lugar de devolver usuarios a la página del proyecto. Esta post-mortem explica lo que pasó, cómo se resolvió, y lo que estamos haciendo para evitar que vuelva a suceder. ## Timeline * **Agosto 31, 2026 a las 2:26 PM CEST** – Un cambio de código llegó a la producción con un defecto que rompió la ejecución de script en la página del Proyecto para cualquier usuario que la cargó. * **31 de agosto de 2026 a las 2:49 PM CEST** – Los primeros informes del cliente llegaron a describir los botones Herramientas-menu ya que los trabajos no se abren en el editor. * **31 de agosto de 2026 aproximadamente a las 3:10 PM CEST** – Nuestro equipo identificó la causa raíz del problema. * **31 de agosto de 2026 a las 3:48 PM CEST** – Se completó una solución para el defecto subyacente. * **31 de agosto de 2026 a las 4:04 PM CEST** – La solución fue verificada en un entorno de preproducción. * **31 de agosto de 2026 a las 5:18 PM CEST** – Se inició el despliegue de la fijación a la producción. * **31 de agosto de 2026 a las 5:57 PM CEST** – La solución estaba completamente en vivo en producción y la funcionalidad normal fue restaurada para todos los clientes afectados. ## Root Cause The incident was caused by a code change intended to fix an unrelated, minor display issue on shared project pages. Ese cambio alteró cómo se insertó un valor en un script incrustado directamente en la página. El sistema que hace que la página codifica automáticamente valores para la seguridad, pero que la codificación no distingue entre un valor que se coloca en contenido de página regular versus dentro de un script. Como resultado, la sintaxis del script incrustado se rompió silenciosamente una vez que el cambio llegó a la producción. Debido a que los navegadores dejan de ejecutar cualquier código adicional en una página una vez que encuentran sintaxis de script inválido, cada script colocado después de ese punto en la página dejó de funcionar — no sólo la parte relacionada con el cambio original. Es por eso que los clientes experimentaron lo que parecían dos problemas separados \(desactivados botones de menú y trabajos que no se abren en el editor\) que eran, de hecho, efectos de la corriente baja del mismo defecto único. El problema no fue atrapado antes de la liberación porque la verificación realizada en el momento confirmó que los datos subyacentes que se insertan eran correctos, pero no cargó la página real en un navegador para confirmar que se hizo y ejecutó correctamente final a extremo. ## Actions to Prevent Recurrence 1. **Fix desplegada** – El defecto subyacente fue corregido y desplegado en producción el mismo día que fue identificado. 2. ** Orientación actualizada** – Hemos actualizado nuestra documentación de ingeniería interna para describir claramente este patrón de falla específico y la forma correcta y segura de manejarlo, por lo que esta categoría de error se captura durante la revisión de código que va adelante. 3. ** Mejoras automáticas de detección en curso** – Estamos trabajando en la adición de monitoreo automatizado para esta clase de falla de frente, por lo que se pueden detectar y abordar problemas similares antes de que los clientes se vean afectados, en lugar de confiar en los informes de los clientes.

Traducido automáticamente desde la actualización oficial del incidente.

1. 19 de agosto de 2026 a las 12:16 UTCinvestigating

   Actualmente estamos investigando un problema que afecta a la funcionalidad de Memoria de Traducción en Phrase TMS (EU). Los usuarios pueden experimentar problemas con la creación de memorias de traducción y otras operaciones relacionadas durante este tiempo. Nuestro equipo está trabajando activamente para identificar la causa y restaurar la plena funcionalidad lo antes posible.

2. 19 de agosto de 2026 a las 12:34 UTCidentified

   Se ha determinado la cuestión y se está aplicando una solución.

3. 19 de agosto de 2026 a las 13:19 UTCmonitoring

   Se ha aplicado una solución y estamos monitoreando la situación.

4. 19 de agosto de 2026 a las 14:09 UTCresolved

   El incidente se ha resuelto.

5. 6 de octubre de 2026 a las 8:14 UTCpostmortem

   ## **Introducción** Nos gustaría compartir más detalles sobre los eventos que ocurrieron con Phrase entre las 2:11 PM CEST y las 4:10 PM CEST el 19 de agosto de 2026, lo que llevó a degradar la funcionalidad de memoria de traducción en Phrase TMS \(EU\) y lo que los ingenieros de Phrase están haciendo para evitar que estos problemas vuelvan a ocurrir. ## **Timeline** * **August 19, 2026 at 2:11 PM CEST:** Phrase identificó un problema que afecta a la funcionalidad de la memoria de traducción en Phrase TMS \(EU\). Los usuarios experimentaron errores al crear memorias de traducción y realizar operaciones relacionadas, incluyendo confirmar segmentos, elevando tasas de error a través de servicios dependientes y casos de uso. * **19 de agosto de 2026 a las 2:32 PM CEST:** Se identificó la causa raíz y los ingenieros comenzaron a aplicar una solución al entorno afectado mediante la reducción del grupo y la reiniciación de los nodos afectados para acelerar la recuperación. * **August 19, 2026 at 3:10 PM CEST:** Se confirmó que la creación de memoria de traducción y las operaciones conexas funcionaban normalmente de nuevo. * **19 de agosto de 2026 a las 4:10 PM CEST:** After a sustained monitoring period showed no recurrence, the incident was marked resolved. ## ## Root Cause ## La investigación reveló que el incidente se originó en el grupo de base de datos que almacena datos de memoria de traducción. Una memoria de traducción única había crecido con el tiempo muy grande y requería una parte desproporcionada de la actividad de lectura que servía el nodo que también coordinaba la gestión de la salud y los metadatos del grupo más amplio. Debido a que el grupo estaba siendo sometido a mantenimiento de tiempo cero a lo largo de días, había una mayor cantidad de acciones de coordinación y una carga elevada en los nodos de coordinación en el grupo. Estos dos combinados con la carga máxima causaron que el rendimiento de los nodos de coordinación se deteriorara lentamente, lo que dio lugar a una tasa de error elevada y un rendimiento degradado. ## ** Acciones para prevenir la repetición** Para prevenir incidentes similares en el futuro y mitigar cualquier efecto negativo, nosotros: * Reequilibrado el clúster y su infraestructura de respaldo para crear más espacio para búsquedas y actualizaciones de memoria de traducción. * Pausa el mantenimiento en curso en el grupo de memoria de traducción impactado. * Mejora de la capacidad de los nodos de coordinación y mejorará la topología de los grupos para prevenir el impacto de los grupos durante los picos de solicitudes repentinas.

Traducido automáticamente desde la actualización oficial del incidente.

1. 7 de agosto de 2026 a las 7:27 UTCinvestigating

   Actualmente estamos investigando un tema con eventos ramificados desaparecidos en Phrase Strings (EU), que puede causar cambios a no ser aplicado cuando las ramas se fusionan.

2. 7 de agosto de 2026 a las 7:54 UTCinvestigating

   Seguimos investigando esta cuestión.

3. 7 de agosto de 2026 a las 8:18 UTCidentified

   Se ha determinado la cuestión y se está aplicando una solución.

4. 7 de agosto de 2026 a las 8:30 UTCmonitoring

   Se ha aplicado una solución. El atraso de los eventos desaparecidos está siendo procesado. Una vez que la cola esté completamente procesada, las ramas sin fusión recibirán automáticamente los cambios que faltan. Estamos monitoreando la cola y los resultados.

5. 7 de agosto de 2026 a las 14:12 UTCresolved

   Los cambios realizados en las sucursales durante la ventana del incidente se aplican plenamente. Las sucursales fusionadas que se vieron afectadas han sido identificadas y los clientes afectados han sido contactados directamente. Este incidente ha sido resuelto.

6. 11 de septiembre de 2026 a las 6:11 UTCpostmortem

   ## Introduction Nos gustaría compartir detalles sobre un incidente que afectó a Phrase Strings en la plataforma de la UE entre el 6 de agosto y el 7 de agosto de 2026. Durante este período, los cambios realizados en las ramas no estaban siendo registrados por nuestro oleoducto de procesamiento de cambios. Como resultado, las ramas que se fusionaron durante el incidente podrían fusionarse sin los cambios que se les hicieron durante esa ventana, y las pantallas de comparación de ramas no podían mostrar diferencias incluso cuando existían diferencias. Esta post-mortem explica lo que pasó, cómo se resolvió, y lo que estamos haciendo para evitar que vuelva a suceder. ## Timeline * **Agosto 6, 2026 a las 5:44 PM CEST** – Una red interrumpida cortó la conexión que utiliza nuestro oleoducto de procesamiento de cambios para leer los cambios de bases de datos. La conexión no se recuperó y los cambios de rama dejaron de ser procesados. El componente afectado siguió reportándose como saludable, por lo que no se disparó una alerta automatizada. * **August 7, 2026 at 09:11 AM CEST** – El problema se identificó después de un informe del cliente. * **August 7, 2026 at 09:19 AM CEST** – El incidente fue escalado hasta nuestro nivel de gravedad más alto. * **Agosto 7, 2026 aproximadamente a las 10:20 AM CEST** – El componente afectado se recuperó reiniciando y reanudando el procesamiento del cambio. * **Agosto 7, 2026 a las 10:46 AM CEST** – El atraso de los cambios pendientes fue procesado por completo y el oleoducto fue atrapado. * ** 7 de agosto de 2026 tarde* Los clientes afectados fueron identificados y contactados individualmente con los datos necesarios para restaurar sus cambios. ## Root Cause El incidente fue desencadenado por una interrupción transitoria de la red que rompió la conexión que utiliza nuestro sistema para transmitir cambios desde la base de datos a nuestra tubería de procesamiento de ramas. El componente responsable de esta conexión intentó reconectarse automáticamente, pero el intento de reconexión colgó indefinidamente en lugar de tener éxito o fracasar. Debido a que el componente nunca reportó un fracaso, el mecanismo de recuperación automática de nuestra plataforma —que reinicia componentes que reportan un estado de error— nunca fue activado. El componente permaneció en un estado donde parecía estar funcionando normalmente mientras no se procesaban cambios en absoluto. Es por ello que un reinicio estándar de la conexión no resolvió la cuestión, al tiempo que reiniciaba plenamente el proceso subyacente, que estableció una nueva conexión, lo hizo. La situación no se detectó antes porque nuestro monitoreo de este oleoducto se basaba en una señal que continuaba reportando "saludable" durante todo el incidente, y no teníamos una medida separada de si los cambios estaban realmente fluyendo y siendo procesados. ## Impacto * Las sucursales que tuvieron cambios durante el incidente pero fueron **no** fusionadas no perdieron ningún dato. Sus cambios fueron procesados una vez que el oleoducto se recuperó. * Las sucursales que se fusionaron durante el incidente se fusionaron sin los cambios que se les hicieron durante la ventana del incidente. Los cambios realizados antes del incidente no se vieron afectados. * Sólo un pequeño número de clientes fueron afectados en última instancia. Cada uno fue contactado individualmente y proporcionado con los datos y las medidas necesarias para restaurar los cambios afectados. ## Actions to Prevent Recurrence 1. ** Monitoreo de engaños fijos** – Corregimos la configuración de monitoreo que agrupaba diferentes entornos de producción juntos, lo que había retrasado nuestra conciencia sobre el tema. 2. **Añadiendo señales de salud significativas** – Estamos agregando monitoreo que mide si los cambios están realmente fluyendo a través del oleoducto y cuan lejos está, en lugar de depender de una señal de estado que puede reportar "saludable" mientras no se está haciendo ningún trabajo. Esto asegura que se detecte inmediatamente un puesto similar. 3. **Improving automatic recovery** – Estamos revisando el comportamiento de reconexión y reingreso de este componente para que una conexión atascada resulte en un fracaso genuino que activa el reinicio automático.

Traducido automáticamente desde la actualización oficial del incidente.

1. 6 de agosto de 2026 a las 8:11 UTCinvestigating

   We are currently investigating an issue affecting Connectors in Phrase TMS. Customers may be unable to access or use Connector functionality during this time. Our engineering team is actively working to identify the cause and restore full service as quickly as possible.

2. 6 de agosto de 2026 a las 8:18 UTCinvestigating

   We are continuing to investigate this issue.

3. 6 de agosto de 2026 a las 8:43 UTCmonitoring

   We have identified the root cause and the issue has now been resolved. Connectors should be appearing as active again. We will continue to monitor the situation to ensure full stability.

4. 6 de agosto de 2026 a las 12:00 UTCmonitoring

   We continue monitoring the situation.

5. 6 de agosto de 2026 a las 13:19 UTCresolved

   The incident has been resolved and all components are back to operational.

1. 28 de julio de 2026 a las 7:19 UTCinvestigating

   El equipo de ingeniería identificó un problema con Orchestrator donde el nuevo motor de flujo de trabajo no está ejecutando corrientes de trabajo. El problema está siendo investigado.

2. 28 de julio de 2026 a las 7:53 UTCinvestigating

   Seguimos investigando esta cuestión.

3. 28 de julio de 2026 a las 8:30 UTCidentified

   Se ha determinado la cuestión y se está aplicando una solución.

4. 28 de julio de 2026 a las 8:35 UTCmonitoring

   Se ha aplicado una solución y estamos monitoreando los resultados. El motor de flujo de trabajo está procesando la cola de las ejecuciones pendientes.

5. 28 de julio de 2026 a las 11:49 UTCresolved

   Todas las ejecuciones han sido procesadas. Este incidente ha sido resuelto.

6. 30 de julio de 2026 a las 7:09 UTCpostmortem

   ## Introduction Nos gustaría compartir detalles sobre un incidente que afectó a Phrase Orchestrator el 27 al 28 de julio de 2026. Durante este período, las ejecuciones de flujo de trabajo en el Motor de flujo de trabajo de Next-Gen no pudieron progresar y permanecieron atrapados en un estado "ejecutivo". No se perdieron datos durante el incidente. Esta post-mortem explica lo que sucedió, cuando se resolvió, y los pasos que hemos tomado para prevenir una recurrencia. ## Timeline * **27 julio 2026 a las 18:55 CEST** – El motor de flujo de trabajo comenzó a producir errores a medida que el rendimiento de consulta de bases de datos se degrada. Las ejecuciones de flujo de trabajo se estancaron y dejaron de progresar. * **27 julio 2026 a las 20:54 CEST** – Se recibió el primer informe del cliente de ejecuciones en "ejecución". * **27 julio 2026 a las 22:39 CEST** – El incidente fue declarado oficialmente. * **28 julio 2026 a las 02:18 CEST** – Un reinicio de servicio proporcionó alivio temporal; se reanudaron las ejecuciones de flujo de trabajo. * **28 julio 2026 a las 05:15 CEST** – La cuestión se repite a medida que persiste el problema de rendimiento de la base de datos subyacente. * **28 julio 2026 a las 09:56 CEST** – The root cause was identified and addressed. No se perdieron ejecuciones; sin embargo, debido a que el servicio parcial se reinicia, algunas acciones dentro de las ejecuciones fueron retumbadas, lo que puede haber causado un pequeño número de ejecuciones que de lo contrario habrían tenido éxito. * **28 julio 2026 a las 13:46 CEST** – El atraso total de las ejecuciones suspendidas fue confirmado como aclarado. El sistema fue declarado estable. * **28 julio 2026 a las 13:48 CEST** – El incidente resuelto. ## Root Cause The incident was caused by progressive bloat in database indexes used by the workflow job scheduling system. El rendimiento de estos índices particulares se degrada gradualmente con el tiempo a medida que acumulaban entradas de índices muertos de escritos y actualizaciones anteriores. El motor de programación de empleos adquiere cerraduras de coordinación a nivel de base de datos, mientras que consulta estos índices para determinar qué empleos enviar. A medida que las revisiones de índice se hicieron más lentas, comenzaron a superar el tiempo de declaración configurado de la base de datos. Cuando una búsqueda fue cancelada por el timeout, el proceso de programación responsable de ese trabajo se estrelló y reiniciaron. Sin programadores funcionando, no se pueden enviar pasos de flujo de trabajo y todas las ejecuciones de flujo de trabajo en curso se atascaron. El servidor de bases de datos en sí permaneció sano durante todo el incidente, con niveles normales de CPU y conexión. El problema era exclusivamente bloqueo y contención de latencia dentro de la capa de programación. Un reinicio de servicio despejó los procesos estrellados y la ejecución restaurada temporalmente. Sin embargo, debido a que el bloque índice todavía estaba presente, la misma degradación recurrió una vez que se reanudó la carga de consulta. Un índice manual reconstruye el rendimiento completamente restaurado y resuelve el problema. ## Actions to Prevent Recurrence 1. **Mantenimiento automatizado del índice** – Se ha configurado el mantenimiento del índice automático programado para los índices afectados. Esto asegura que la hinchazón no puede acumularse con el tiempo y elimina las condiciones que desencadenaron este incidente. 2. **Se eliminaron los índices de legado** – Se han identificado y eliminado los índices de bases de datos heredados no utilizados, reduciendo la superficie total de mantenimiento y simplificando la futura higiene de índices. 3. ** Actualización de la cobertura de supervisión** – Nuestro paisaje de monitoreo está siendo revisado y actualizado para reflejar el estado actual del motor de flujo de trabajo. Este trabajo cerrará brechas que permitieron que la degradación no fuera detectada antes del primer informe del cliente.

Traducido automáticamente desde la actualización oficial del incidente.

1. 27 de julio de 2026 a las 23:48 UTCinvestigating

   Engineering ha identificado un problema con Orchestrator donde el nuevo motor de flujo de trabajo no está ejecutando corrientes de trabajo. El problema está siendo investigado.

2. 28 de julio de 2026 a las 0:41 UTCresolved

   Todos los flujos de trabajo se están ejecutando de nuevo como se espera.

3. 30 de julio de 2026 a las 7:08 UTCpostmortem

   ## Introduction Nos gustaría compartir detalles sobre un incidente que afectó a Phrase Orchestrator el 27 al 28 de julio de 2026. Durante este período, las ejecuciones de flujo de trabajo en el Motor de flujo de trabajo de Next-Gen no pudieron progresar y permanecieron atrapados en un estado "ejecutivo". No se perdieron datos durante el incidente. Esta post-mortem explica lo que sucedió, cuando se resolvió, y los pasos que hemos tomado para prevenir una recurrencia. ## Timeline * **27 julio 2026 a las 18:55 CEST** – El motor de flujo de trabajo comenzó a producir errores a medida que el rendimiento de consulta de bases de datos se degrada. Las ejecuciones de flujo de trabajo se estancaron y dejaron de progresar. * **27 julio 2026 a las 20:54 CEST** – Se recibió el primer informe del cliente de ejecuciones en "ejecución". * **27 julio 2026 a las 22:39 CEST** – El incidente fue declarado oficialmente. * **28 julio 2026 a las 02:18 CEST** – Un reinicio de servicio proporcionó alivio temporal; se reanudaron las ejecuciones de flujo de trabajo. * **28 julio 2026 a las 05:15 CEST** – La cuestión se repite a medida que persiste el problema de rendimiento de la base de datos subyacente. * **28 julio 2026 a las 09:56 CEST** – The root cause was identified and addressed. No se perdieron ejecuciones; sin embargo, debido a que el servicio parcial se reinicia, algunas acciones dentro de las ejecuciones fueron retumbadas, lo que puede haber causado un pequeño número de ejecuciones que de lo contrario habrían tenido éxito. * **28 julio 2026 a las 13:46 CEST** – El atraso total de las ejecuciones suspendidas fue confirmado como aclarado. El sistema fue declarado estable. * **28 julio 2026 a las 13:48 CEST** – El incidente resuelto. ## Root Cause The incident was caused by progressive bloat in database indexes used by the workflow job scheduling system. El rendimiento de estos índices particulares se degrada gradualmente con el tiempo a medida que acumulaban entradas de índices muertos de escritos y actualizaciones anteriores. El motor de programación de empleos adquiere cerraduras de coordinación a nivel de base de datos, mientras que consulta estos índices para determinar qué empleos enviar. A medida que las revisiones de índice se hicieron más lentas, comenzaron a superar el tiempo de declaración configurado de la base de datos. Cuando una búsqueda fue cancelada por el timeout, el proceso de programación responsable de ese trabajo se estrelló y reiniciaron. Sin programadores funcionando, no se pueden enviar pasos de flujo de trabajo y todas las ejecuciones de flujo de trabajo en curso se atascaron. El servidor de bases de datos en sí permaneció sano durante todo el incidente, con niveles normales de CPU y conexión. El problema era exclusivamente bloqueo y contención de latencia dentro de la capa de programación. Un reinicio de servicio despejó los procesos estrellados y la ejecución restaurada temporalmente. Sin embargo, debido a que el bloque índice todavía estaba presente, la misma degradación recurrió una vez que se reanudó la carga de consulta. Un índice manual reconstruye el rendimiento completamente restaurado y resuelve el problema. ## Actions to Prevent Recurrence 1. **Mantenimiento automatizado del índice** – Se ha configurado el mantenimiento del índice automático programado para los índices afectados. Esto asegura que la hinchazón no puede acumularse con el tiempo y elimina las condiciones que desencadenaron este incidente. 2. **Se eliminaron los índices de legado** – Se han identificado y eliminado los índices de bases de datos heredados no utilizados, reduciendo la superficie total de mantenimiento y simplificando la futura higiene de índices. 3. ** Actualización de la cobertura de supervisión** – Nuestro paisaje de monitoreo está siendo revisado y actualizado para reflejar el estado actual del motor de flujo de trabajo. Este trabajo cerrará brechas que permitieron que la degradación no fuera detectada antes del primer informe del cliente.

Traducido automáticamente desde la actualización oficial del incidente.

1. 20 de julio de 2026 a las 12:53 UTCresolved

   Entre el 16 de junio de 2026 01:00PM CEST y el 17 de junio de 2026 11:00AM CEST, el conector Phrase Job Sync sufrió un rendimiento degradado. Los clientes que utilizan el Job Sync con el tipo de conexión predeterminado experimentaron fallos. El equipo de ingeniería identificó una causa raíz y proporcionó una solución.

2. 20 de julio de 2026 a las 12:54 UTCpostmortem

   #### Introduction Nos gustaría compartir más detalles sobre los eventos que ocurrieron con Phrase entre el 16 de junio de 2026, 01:00PM CEST y el 17 de junio de 2026, 11:00AM CEST, lo que llevó a un rendimiento degradado de Phrase Strings API, causando a los clientes utilizando el Job Sync con el tipo de conexión predeterminado para experimentar fallos. Nos disculpamos por la perturbación y estamos comprometidos a prevenir incidentes similares en el futuro. ### Timeline **Jun 16, 2026 @ 01:00 PM CEST** – Job Sync comenzó a fallar para los clientes utilizando el tipo de conexión predeterminado. Los conectores no pudieron autenticar contra la API de Phrase Strings. **Jun 17, 2026 @ 10:00 AM CEST** – El fallo de autenticación fue identificado por el equipo de ingeniería. **17 de junio de 2026 @ 10:28 AM CEST** – Se confirmó el alcance del impacto: Los clientes que usaron la conexión por defecto Job Sync se vieron afectados. Los clientes que utilizan conectores basados en token no se vieron afectados. **Jun 17, 2026 @ 10:29 AM CEST** – Se identificó la causa raíz: Un cambio reciente que añadió soporte de token multiplataforma inadvertidamente introdujo errores con algunos tokens de plataforma existentes. **Jun 17, 2026 @ 10:40 AM CEST** – Se preparó y presentó una solución para su revisión. **Jun 17, 2026 @ 10:53 AM CEST** – La solución fue desplegada y la funcionalidad JobSync fue completamente restaurada. ## Root Cause Un cambio de código introducido para añadir soporte para fichas de autenticación multiplataforma modificó cómo se validan y procesan los tokens de plataforma entrante en la API de Phrase Strings. Este cambio no era compatible con un formato token existente utilizado por el tipo de conexión predeterminado. As a result, platform tokens were rejected by the Strings API with a `401 Unauthorized` response. El conector volvió a establecer la conexión hasta agotar su presupuesto de reingreso, causando que todas las operaciones afectadas fallaran. Los clientes que utilizan fichas de acceso personal no se vieron afectados a medida que sus fichas siguen una ruta de código diferente. ## Actions to Prevent Recurrence La causa raíz fue un cambio incompatible a la manipulación de token que no se detectó durante el desarrollo. Se están adoptando las siguientes medidas: * **Token format compatibility testing in auth changes:** Al introducir un nuevo formato de token/authentication junto con uno existente, las pruebas deben cubrir explícitamente el caso de transición, tokens de formato antiguo que se procesan bajo la nueva lógica de detección, no sólo cada formato en aislamiento.

Traducido automáticamente desde la actualización oficial del incidente.

1. 16 de julio de 2026 a las 15:47 UTCinvestigating

   Actualmente estamos investigando un problema que afecta a nuestro servicio de Metrics que puede resultar en el consumo de métricas duplicadas para algunos clientes. Nuestro equipo está trabajando activamente para identificar los componentes afectados y determinar la causa raíz. Proporcionaremos más actualizaciones a medida que se disponga de más información.

2. 16 de julio de 2026 a las 16:29 UTCidentified

   Hemos identificado la causa raíz como inestabilidad en un corredor específico, lo que está causando la repetida reducción del grupo de consumidores en nuestro servicio de Metrics y conduce al procesamiento duplicado de actualizaciones métricas. Esto puede resultar en que algunos clientes experimentan cálculos de consumo incorrectos o bloqueo de cuentas inesperado. Continuamos trabajando en una solución.

3. 16 de julio de 2026 a las 17:31 UTCmonitoring

   Hemos detenido la progresión de la cuestión y ahora estamos trabajando para identificar todo el alcance de los efectos, incluidas las organizaciones afectadas o bloqueadas. Las cuentas afectadas se priorizarán para la resolución a través de un proceso de deduplicación, aunque esto tomará algún tiempo para completar.

4. 16 de julio de 2026 a las 19:04 UTCidentified

   Hemos deduplicado con éxito el consumo de métrica para todas las organizaciones bloqueadas. Continuamos trabajando para desarrollar herramientas de deduplicación por organización para asegurar datos precisos del ciclo de facturación, con el equipo completo escalando estas correcciones mañana por la mañana.

5. 17 de julio de 2026 a las 13:02 UTCmonitoring

   Seguimos avanzando en la solución de la cuestión del consumo de métricas duplicadas identificada por primera vez el 16 de julio. La causa raíz se ha identificado y abordado. Desde nuestra última actualización, nuestro equipo ha corregido los datos duplicados para todas las cuentas bloqueadas previamente. Ahora estamos trabajando a través de un conjunto restante de cuentas afectadas y esperamos que esta limpieza continúe en los próximos días. No se están produciendo más duplicaciones, este trabajo sólo aborda datos históricos.

6. 20 de julio de 2026 a las 12:07 UTCresolved

   Este incidente ha sido resuelto.

Traducido automáticamente desde la actualización oficial del incidente.

1. 16 de julio de 2026 a las 14:49 UTCinvestigating

   Actualmente estamos investigando un problema que afecta a Phrase Orchestrator. Trabajamos para identificar la causa raíz y proporcionaremos más actualizaciones tan pronto como esté disponible más información.

2. 16 de julio de 2026 a las 15:27 UTCinvestigating

   Seguimos investigando esta cuestión.

3. 16 de julio de 2026 a las 15:27 UTCidentified

   Se ha determinado la cuestión y se está aplicando una solución.

4. 16 de julio de 2026 a las 15:41 UTCmonitoring

   Se ha aplicado una solución y estamos monitoreando los resultados.

5. 16 de julio de 2026 a las 16:12 UTCresolved

   Orchestrator (EU) está disponible de nuevo desde las 5:32 PM CEST. Todas las ejecuciones pendientes están siendo procesadas. Este incidente ha sido resuelto.

Traducido automáticamente desde la actualización oficial del incidente.

1. 10 de julio de 2026 a las 14:24 UTCinvestigating

   Actualmente estamos investigando un problema que afecta al Centro de Traducción en Phrase Strings (reglas UE y EE.UU.), donde las cadenas no están cargando. Nuestro equipo de ingeniería ha identificado una causa potencial y está trabajando activamente para resolverla. Proporcionaremos más actualizaciones a medida que avance nuestra investigación.

2. 10 de julio de 2026 a las 14:37 UTCmonitoring

   Se ha aplicado una solución y estamos monitoreando los resultados.

3. 10 de julio de 2026 a las 15:24 UTCresolved

   Este incidente ha sido resuelto.

4. 7 de agosto de 2026 a las 7:14 UTCpostmortem

   ## Introduction On July 10, 2026, parts of the Phrase Strings frontend at [app.phrase.com](http://app.phrase.com/) failed to load correctly for a short period, after required stylesheets and scripts failed to load — the underlying service itself stayed available. The issue began at 16:08 CEST and was resolved by 16:27 CEST. This post-mortem explains what happened and what we're doing to prevent a recurrence. ## Timeline * **Jul 10, 2026 at 16:08 CEST** – A deployment introduced new application assets that were never uploaded to our storage service, so the application could no longer load its stylesheets and scripts for customers. * **Jul 10, 2026 at 16:21 CEST** – Issue detected, incident declared. * **Jul 10, 2026 at 16:24 CEST** – Root cause identified. * **Jul 10, 2026 at 16:26 CEST** – Fix applied. * **Jul 10, 2026 at 16:27 CEST** – Customer-facing impact ended. * **Jul 10, 2026 at 16:32 CEST** – Incident downgraded to monitoring while the underlying configuration was addressed. * **Jul 10, 2026 at 17:12 CEST** – Configuration corrected, incident resolved. ## Root Cause During a planned, routine maintenance, a configuration change unintentionally disabled the process that uploads application assets \(stylesheets, scripts\) to our storage and content-delivery service. This went unnoticed at first, since the assets already in place kept working and no new versions had been shipped yet. On July 10, 2026, a deployment shipped new versions of these assets. Because uploading was still disabled, the new files never reached the storage service, and the application could not load its stylesheets and scripts. ## Actions to Prevent Recurrence 1. **Asset synchronization re-enabled** – The disabled process was fixed, restoring correct asset delivery. 2. **Asset availability monitoring** – Adding monitoring to detect asset load failures automatically, before customers are affected.

Traducido automáticamente desde la actualización oficial del incidente.

1. 8 de julio de 2026 a las 12:57 UTCinvestigating

   Estamos recibiendo informes de usuarios sobre empleos que desaparecen de proyectos y actualmente estamos investigando el tema.

2. 8 de julio de 2026 a las 13:08 UTCmonitoring

   Se ha identificado la cuestión, se ha aplicado una solución y estamos vigilando la situación.

3. 8 de julio de 2026 a las 13:55 UTCresolved

   El incidente se ha resuelto.

Traducido automáticamente desde la actualización oficial del incidente.

1. 7 de julio de 2026 a las 8:34 UTCinvestigating

   We are currently investigating issues with CAT Web Editor.

2. 7 de julio de 2026 a las 8:59 UTCmonitoring

   The issue has been identified, a fix was implemented and we are monitoring the situation.

3. 7 de julio de 2026 a las 9:27 UTCresolved

   The incident has been resolved.

1. 29 de junio de 2026 a las 7:30 UTCinvestigating

   Hi everyone, this is a test. Please ignore, thank you!

2. 29 de junio de 2026 a las 8:05 UTCidentified

   Hi everyone, this is a test. Please ignore, thank you!

3. 29 de junio de 2026 a las 8:09 UTCresolved

   This incident has been resolved.

1. 26 de junio de 2026 a las 16:19 UTCinvestigating

   Hi everyone, this is a test. Please ignore. Thank you!

1. 26 de junio de 2026 a las 7:31 UTCinvestigating

   Hello everyone, this is a test. Please ignore, thank you!

2. 26 de junio de 2026 a las 8:16 UTCinvestigating

   Hello everyone, this is a test. We're "investigating" the issue. Please ignore, thank you!