Cronologia delle interruzioni di Memsource

1. 15 ottobre 2026 alle ore 09:44 UTCinvestigating

   Stiamo attualmente indagando su un problema che riguarda i servizi di Phrase TMS nella regione dell'UE, tra cui l'editor CAT, API, project management, memoria di traduzione e componenti correlati. Gli utenti possono sperimentare errori o non essere in grado di accedere a questi servizi in questo momento. Il nostro team sta lavorando attivamente per identificare la causa e ripristinare la piena funzionalità il più rapidamente possibile.

2. 15 ottobre 2026 alle ore 09:58 UTCmonitoring

   I servizi si sono stabilizzati e Phrase TMS nella regione dell'UE è ora operativo normalmente. Continuiamo a monitorare la situazione.

3. 15 ottobre 2026 alle ore 10:24 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 23 settembre 2026 alle ore 08:48 UTCinvestigating

   Alcuni utenti potrebbero avere problemi con l'accesso a Phrase TMS.

2. 23 settembre 2026 alle ore 08:58 UTCidentified

   Il problema è stato identificato e si sta attuando una correzione.

3. 23 settembre 2026 alle ore 09:28 UTCmonitoring

   La correzione è stata implementata e stiamo monitorando i risultati. Phrase TMS può ora essere accessibile senza ulteriori problemi.

4. 23 settembre 2026 alle ore 10:03 UTCresolved

   Questo incidente è stato risolto.

5. 30 settembre 2026 alle ore 12:12 UTCpostmortem

   ## Introduzione Vorremmo condividere dettagli su un incidente che ha interessato l'accesso a Phrase TMS il 23 settembre 2026. Tra le 9:02 e le 11:27 AM CEST, gli utenti che aprono Phrase TMS da Phrase Platform non potrebbero completare il sign-in. Sono stati catturati in un loop redirect o sono tornati alla pagina di accesso Phrase TMS con un errore di accesso. Gli utenti che hanno già avuto una sessione attiva di Phrase TMS non sono stati colpiti, e nessun dato del cliente è stato perso o modificato. L'accesso a Phrase Platform ha continuato a lavorare per tutto l'incidente, sia con una password che con un singolo segnale. Così ha firmato con una password direttamente sulla pagina di accesso Phrase TMS. Questo post-mortem spiega cosa è successo, come è stato risolto, e che cosa stiamo facendo per impedire che accada di nuovo. # Timeline ***Sep 23, 2026 alle 9:02 AM CEST** – Un aggiornamento all'applicazione web di Phrase TMS è andato in diretta in produzione. Ha incluso un miglioramento della sicurezza su come le maniglie di flusso sign-in reindirizza dopo il login. Da questo punto, gli utenti che aprono Phrase TMS da Phrase Platform non potrebbero completare il login. Poco dopo, le questioni sono state indagate internamente. ***Sep 23, 2026 alle 10:59 L'aggiornamento da 9:02 AM CEST è stato identificato come la causa, e abbiamo iniziato a preparare un rollback. ***Sep 23, 2026 alle 11:13 AM CEST** – Il rollback è stato verificato nel nostro ambiente di prova e la distribuzione alla produzione è iniziata. ***Sep 23, 2026 alle 11:27 AM CEST** – Il rollback era vivo in tutte le regioni di produzione. L'impatto sul cliente è finito. * **Sep 23, 2026 alle 11:28 AM CEST** – Abbiamo confermato che la firma a Phrase TMS da Phrase Platform ha funzionato di nuovo. ***Sep 23, 2026 alle 12:04 PM CEST** – L'incidente è stato segnato come risolto nella nostra pagina di stato. # Causa radice # L'incidente è stato causato da un miglioramento della sicurezza per l'applicazione web Phrase TMS. Il suo obiettivo era quello di assicurarsi che gli utenti sono inviati solo a destinazioni fidate dopo che si firmano. Per fare questo, l'applicazione web ha accettato solo reindirizza all'indirizzo web Phrase TMS stesso. Tuttavia, quando un utente apre Phrase TMS da Phrase Platform, il processo di firma sposta legittimamente l'utente tra diversi indirizzi web Phrase. I nostri server controllano già ciascuno di questi reindirizzamenti contro un elenco di domini Phrase affidabili e consentono loro. Il nuovo controllo nell'applicazione core TMS è stato più rigido di questo controllo lato server e overrode esso. Di conseguenza, i redirect legittimi sono stati sostituiti con la pagina iniziale di Phrase TMS, che ha ricominciato il processo di firma. Gli utenti hanno girato attraverso il sign-in ripetutamente o sono atterrati sulla pagina di accesso Phrase TMS con un errore. L'accesso a Phrase Platform ha continuato a lavorare per tutto l'incidente, sia con una password che con un singolo segnale. Così ha firmato con una password direttamente sulla pagina di accesso Phrase TMS. Il fallimento è avvenuto al passo in cui un utente firmato si sposta da Phrase Platform a Phrase TMS. A causa di questo, alcuni utenti interessati hanno segnalato il problema come un problema di password: hanno inserito le loro credenziali con successo, ma sono stati poi rispediti in una schermata di login. ## Azioni per prevenire la ricorrenza 1. **Change rotolato indietro** – L'aggiornamento che ha causato il problema è stato ristampato in tutte le regioni di produzione alle 11:27 AM CEST, che ha ripristinato il normale accesso. 2. **Continuous sign-in monitoring** – Stiamo aggiungendo controlli automatizzati che funzionano regolarmente in tutte le regioni di produzione e nel nostro ambiente di prova. Ogni controllo esegue l'accesso completo da Phrase Platform in Phrase TMS e avvisa immediatamente i nostri ingegneri in chiamata se non riesce. Prima di affidarci a loro, confermeremo che questi controlli rilevano l'esatto fallimento che si è verificato in questo incidente.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 10 settembre 2026 alle ore 05:06 UTCinvestigating

   Stiamo attualmente indagando su un problema che riguarda la sincronizzazione dei lavori tra Phrase Strings e Phrase TMS attraverso webhooks nella nostra regione UE. I clienti possono sperimentare guasti o ritardi durante la sincronizzazione dei lavori di traduzione tra i due prodotti. Il nostro team sta lavorando attivamente per identificare la causa principale e ripristinare la piena funzionalità il più rapidamente possibile.

2. 10 settembre 2026 alle ore 05:34 UTCmonitoring

   Una correzione è stata implementata e implementata per affrontare i guasti di sincronizzazione webhook tra Phrase Strings e Phrase TMS. Attualmente stiamo monitorando la situazione per confermare la piena stabilità. Forniremo un ulteriore aggiornamento una volta convalidata la risoluzione.

3. 10 settembre 2026 alle ore 06:03 UTCresolved

   Siamo lieti di confermare che il problema di sincronizzazione webhook tra Phrase Strings e Phrase TMS è stato risolto e verificato come completamente operativo, anche per i clienti del data center degli Stati Uniti. Questo incidente è ora chiuso.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 1 settembre 2026 alle ore 14:18 UTCinvestigating

   Stiamo attualmente indagando su un problema che causa la lentezza nella vista di lavoro all'interno di Phrase TMS (UE). Gli utenti possono sperimentare tempi di carico ritardati o prestazioni ridotte quando si accede alle funzionalità di gestione del progetto. Il nostro team sta lavorando attivamente per identificare la causa principale e ripristinare le prestazioni normali il più rapidamente possibile.

2. 1 settembre 2026 alle ore 15:00 UTCinvestigating

   Abbiamo identificato la causa principale del problema. Il nostro team sta attivamente implementando una soluzione. Forniamo ulteriori aggiornamenti mentre facciamo progressi.

3. 1 settembre 2026 alle ore 15:34 UTCmonitoring

   Una correzione è stata implementata e stiamo monitorando i risultati. I clienti potrebbero aver bisogno di cancellare la cache del browser e chiudere tutte le schede aperte con TMS se ancora si verificano problemi.

4. 1 settembre 2026 alle ore 16:23 UTCresolved

   Il problema è stato risolto e le prestazioni sono stabili.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 31 agosto 2026 alle ore 15:06 UTCinvestigating

   Attualmente stiamo vivendo errori intermittenti quando si comunica con Gengo, uno dei nostri fornitori di traduzioni di terze parti. Ciò sta causando timeout e 502 errori sul calcolo dei prezzi e la presentazione degli ordini per gli ordini di traduzione indirizzati attraverso Gengo, che interessano sia i data center UE che gli Stati Uniti. Gengo ha confermato la questione sulla loro fine e sta indagando.

2. 2 settembre 2026 alle ore 11:46 UTCresolved

   Gengo ha risolto il problema alla loro fine. I calcoli dei prezzi e le presentazioni degli ordini di traduzione a Gengo stanno lavorando di nuovo.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 31 agosto 2026 alle ore 13:11 UTCinvestigating

   Gli utenti non sono attualmente in grado di aprire posti di lavoro esistenti e di creare nuovi all'interno dei loro progetti Phrase TMS. Stiamo indagando sul problema.

2. 31 agosto 2026 alle ore 13:22 UTCinvestigating

   Stiamo continuando a indagare su questo problema.

3. 31 agosto 2026 alle ore 13:46 UTCidentified

   Il problema è stato identificato e si sta attuando una correzione.

4. 31 agosto 2026 alle ore 16:02 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati.

5. 31 agosto 2026 alle ore 16:53 UTCresolved

   Il problema è stato risolto.

6. 4 settembre 2026 alle ore 08:45 UTCpostmortem

   ## Introduzione Vorremmo condividere dettagli su un incidente che ha colpito Phrase TMS il 31 agosto 2026. Tra le 2:26 e le 5:57 PM CEST, alcuni utenti della pagina del progetto legacy non sono stati in grado di utilizzare azioni Tools-menu come la creazione o la modifica di lavori e analisi in esecuzione, e il clic per aprire un lavoro non ha lanciato l'editor web CAT come previsto, invece restituire gli utenti alla pagina del progetto. Questo post-mortem spiega cosa è successo, come è stato risolto, e che cosa stiamo facendo per impedire che accada di nuovo. # Timeline * ** 31 agosto 2026 alle 2:26 PM CEST** – Un cambio di codice ha raggiunto la produzione contenente un difetto che ha rotto l'esecuzione di script nella pagina del progetto per qualsiasi utente che l'ha caricato. # 31 agosto 2026 alle 14:49 # I primi resoconti dei clienti hanno descritto i pulsanti Tools-menu come disabilitati e i lavori che non si aprono nell'editor. * ** 31 agosto 2026 a circa 3:10 PM CEST** – Il nostro team ha identificato la causa principale del problema. * ** 31 agosto 2026 alle 1548 PM CEST** – È stata completata una correzione per il difetto sottostante. # 31 agosto 2026 alle 16:04 # La correzione è stata verificata in un ambiente pre-produzione. * ** 31 agosto 2026 alle 17:18 PM CEST** – È iniziata la distribuzione della fissazione della produzione. # 31 agosto 2026 alle 17:57 # La soluzione era completamente live in produzione e la normale funzionalità è stata ripristinata per tutti i clienti interessati. # Causa radice # L'incidente è stato causato da un cambiamento di codice destinato a risolvere un problema di visualizzazione non correlato e minore sulle pagine di progetto condivise. Tale cambiamento ha modificato il modo in cui un valore è stato inserito in uno script incorporato direttamente nella pagina. Il sistema che rende la pagina codifica automaticamente i valori per la sicurezza, ma che la codifica non distinguono tra un valore che viene inserito nel contenuto di pagina regolare rispetto all'interno di uno script. Di conseguenza, la sintassi dello script incorporato fu silenziosamente rotta una volta che il cambiamento raggiunse la produzione. Poiché i browser smettono di eseguire ulteriori codici su una pagina una volta che incontrano sintassi non valida dello script, ogni script posto dopo quel punto sulla pagina ha smesso di funzionare — non solo la parte relativa alla modifica originale. Questo è il motivo per cui i clienti hanno sperimentato ciò che sembrava due problemi separati \(pulsori di menu disabilitati e posti di lavoro che non hanno aperto nell'editor\) che erano, infatti, effetti a valle dello stesso singolo difetto. Il problema non è stato catturato prima del rilascio perché la verifica eseguita al momento ha confermato che i dati sottostanti che sono stati inseriti era corretto, ma non ha caricato la pagina reale in un browser per confermarlo reso ed eseguito correttamente end-to-end. ## Azioni per prevenire la ricorrenza 1. **Fix distribuito** – Il difetto sottostante è stato corretto e distribuito alla produzione lo stesso giorno in cui è stato identificato. 2. ** Guida ingegneristica aggiornata** – Abbiamo aggiornato la nostra documentazione di ingegneria interna per descrivere chiaramente questo modello di guasto specifico e il modo corretto e sicuro di gestirlo, in modo che questa categoria di errore viene catturato durante la revisione del codice in avanti. 3. ** Miglioramenti di rilevamento automatico in corso** – Stiamo lavorando sull'aggiunta di monitoraggio automatizzato per questa classe di fallimento front-end, in modo che i problemi simili possono essere rilevati e affrontati prima che i clienti siano colpiti, piuttosto che contare sui rapporti dei clienti.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 19 agosto 2026 alle ore 12:16 UTCinvestigating

   Stiamo attualmente indagando su un problema che riguarda la funzionalità della memoria di traduzione in Phrase TMS (UE). Gli utenti possono sperimentare problemi con la creazione di memorie di traduzione e altre operazioni correlate durante questo periodo. Il nostro team sta lavorando attivamente per identificare la causa e ripristinare la piena funzionalità il più rapidamente possibile.

2. 19 agosto 2026 alle ore 12:34 UTCidentified

   Il problema è stato identificato, e si sta implementando una correzione.

3. 19 agosto 2026 alle ore 13:19 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando la situazione.

4. 19 agosto 2026 alle ore 14:09 UTCresolved

   L'incidente è stato risolto.

5. 6 ottobre 2026 alle ore 08:14 UTCpostmortem

   # Introduzione # Vorremmo condividere maggiori dettagli sugli eventi che si sono verificati con Phrase tra le 2:11 PM CEST e le 16:10 PM CEST il 19 agosto 2026, che ha portato a degraded funzionalità di memoria di traduzione in Phrase TMS \(EU\) e che cosa gli ingegneri di Phrase stanno facendo per evitare che questi problemi si ripetano. # Timeline # # August 19, 2026 alle 14:11 # Phrase ha identificato un problema che riguarda la funzionalità della memoria di traduzione in Phrase TMS \(EU\). Gli utenti hanno sperimentato errori durante la creazione di memorie di traduzione e l'esecuzione di operazioni correlate, tra cui la conferma di segmenti, l'elevazione dei tassi di errore tra i servizi di dipendenza e casi di utilizzo. # August 19, 2026 alle 14:32 # La causa della radice è stata identificata e gli ingegneri hanno iniziato ad applicare una correzione all'ambiente interessato riequilibrando il cluster e riavviando i nodi colpiti per accelerare il recupero. # August 19, 2026 alle 15:10 # La creazione della memoria di traduzione e le relative operazioni sono state confermate di funzionare di nuovo normalmente. # August 19, 2026 alle 16:10 # Dopo un periodo di monitoraggio sostenuto non ha mostrato ricorrenza, l'incidente è stato risolto. ♪#Root Cause ♪ L'indagine ha rivelato che l'incidente ha avuto origine nel cluster di database che memorizza i dati della memoria di traduzione. Una singola memoria di traduzione aveva, nel tempo, cresciuto molto grande e richiesto una parte sproporzionata di attività di lettura da servire dal nodo che ha anche coordinato la gestione della salute e dei metadati del cluster più ampio. Poiché il cluster stava subendo una manutenzione zero-downtime durante i giorni, c'era una maggiore quantità di azioni di coordinamento e un carico elevato sui nodi di coordinamento nel cluster. Quei due combinati con il carico di picco hanno causato prestazioni multiple di nodi di coordinamento per deteriorarsi lentamente, portando ad un tasso di errore elevato e prestazioni degradate. # Azioni per prevenire la ricorrenza # Per prevenire incidenti simili in futuro e mitigare eventuali effetti negativi, noi: * Riequilibrata il cluster e la sua infrastruttura di supporto per creare più headroom per le ricerche e gli aggiornamenti della memoria di traduzione. * Paused la manutenzione in corso sul cluster di memoria di traduzione impatto. * Capacità migliorata del nodo di coordinamento e migliorerà la topologia del cluster per prevenire l'impatto del cluster durante i picchi di richieste improvvisi.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 7 agosto 2026 alle ore 07:27 UTCinvestigating

   Stiamo attualmente indagando su un problema con eventi di ramificazione mancanti in Phrase Strings (EU), che possono causare cambiamenti da non essere applicati quando i rami sono fusi.

2. 7 agosto 2026 alle ore 07:54 UTCinvestigating

   Stiamo continuando a indagare su questo problema.

3. 7 agosto 2026 alle ore 08:18 UTCidentified

   Il problema è stato identificato e si sta attuando una correzione.

4. 7 agosto 2026 alle ore 08:30 UTCmonitoring

   Una soluzione è stata implementata. Il backlog degli eventi mancanti è ora in fase di elaborazione. Una volta completata la coda, i rami non sommersi riceveranno automaticamente le modifiche mancanti. Stiamo monitorando la coda e i risultati.

5. 7 agosto 2026 alle ore 14:12 UTCresolved

   Le modifiche effettuate ai rami durante la finestra incidente sono ora completamente applicate. I rami di fusione che sono stati colpiti sono stati identificati e hanno colpito i clienti sono stati contattati direttamente. Questo incidente è stato risolto.

6. 11 settembre 2026 alle ore 06:11 UTCpostmortem

   ## Introduzione Vorremmo condividere dettagli su un incidente che ha colpito Phrase Strings sulla piattaforma UE tra il 6 agosto e il 7 agosto 2026. Durante questo periodo, le modifiche apportate nei rami non sono state registrate dalla nostra pipeline di trasformazione. Di conseguenza, i rami che sono stati fusi durante l'incidente potrebbero essere fusi senza le modifiche apportate durante quella finestra, e gli schermi di confronto di rami non potrebbero mostrare alcuna differenza anche quando esistevano differenze. Questo post-mortem spiega cosa è successo, come è stato risolto, e che cosa stiamo facendo per impedire che accada di nuovo. # Timeline * ** 6 agosto 2026 alle 17:44 PM CEST** – Un'interruzione di rete ha interrotto la connessione che il nostro pipeline di trasformazione dei cambiamenti utilizza per leggere le modifiche del database. La connessione non è riuscita a recuperare, e le modifiche di ramo non sono state elaborate. Il componente interessato ha continuato a riferirsi come sano, quindi non è stato attivato alcun avviso automatico. Traduzione: Il problema è stato identificato in seguito a un rapporto cliente. Traduzione: L'incidente è stato aumentato al nostro più alto livello di gravità. * 7 agosto 2026 a circa 10:20 AM CEST** – Il componente interessato è stato recuperato riavviandolo, e il cambiamento di elaborazione ripreso. # August 7, 2026 alle 10:46 # Il backlog delle modifiche in sospeso è stato completamente elaborato e la pipeline è stata catturata. # August 7, 2026 pomeriggio # I clienti interessati sono stati identificati e contattati individualmente con i dati necessari per ripristinare i loro cambiamenti. # Causa radice # L'incidente è stato innescato da un'interruzione di rete transitoria che ha rotto la connessione che il nostro sistema utilizza per trasmettere i cambiamenti dal database nella nostra pipeline di elaborazione di branch. Il componente responsabile di questa connessione ha tentato di riconnettersi automaticamente, ma il tentativo di ricollegamento è rimasto indefinitamente piuttosto che riuscire o non riuscire. Poiché il componente non ha mai segnalato un fallimento, il meccanismo di recupero automatico della nostra piattaforma — che riavvia i componenti che segnalano uno stato di errore — non è mai stato attivato. Il componente è rimasto in uno stato in cui sembrava essere in esecuzione normalmente durante l'elaborazione nessuna modifica affatto. Ecco perché un riavvio standard della connessione non ha risolto il problema, mentre completamente riavviare il processo sottostante, che ha stabilito una connessione fresca, ha fatto. La situazione non è stata rilevata prima perché il nostro monitoraggio per questa pipeline si basava su un segnale che ha continuato a segnalare "sano" durante tutto l'incidente, e non abbiamo avuto una misura separata di se i cambiamenti stavano effettivamente scorrendo e sono stati elaborati. ## Impact * I rami che hanno avuto cambiamenti durante l'incidente, ma erano ** non fusi non hanno perso alcun dato. I loro cambiamenti sono stati elaborati una volta recuperato il gasdotto. * I rami che si sono fusi durante l'incidente sono stati fusi senza le modifiche apportate durante la finestra incidente. Le modifiche effettuate prima dell'incidente non sono state influenzate. * Solo un piccolo numero di clienti sono stati in definitiva colpiti. Ciascuno è stato contattato individualmente e fornito con i dati e i passaggi necessari per ripristinare le modifiche interessate. ## Azioni per prevenire la ricorrenza 1. ** Monitoraggio fuorviante collegato ** – Abbiamo corretto la configurazione di monitoraggio che raggruppava diversi ambienti di produzione insieme, che aveva ritardato la nostra consapevolezza del problema. 2. **Aggiunga segnali di salute significativi** – Stiamo aggiungendo il monitoraggio che misura se i cambiamenti stanno effettivamente scorrendo attraverso la pipeline e quanto lontano dietro di esso è, piuttosto che contare su un segnale di stato che può segnalare "sano" mentre non si sta facendo alcun lavoro. Questo assicura che uno stallo simile venga rilevato immediatamente. 3. ** Migliorare il recupero automatico** – Stiamo rivedendo il comportamento di ricollegamento e riprovazione di questo componente in modo che una connessione bloccata si traduce in un vero fallimento che innesca il riavvio automatico.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 6 agosto 2026 alle ore 08:11 UTCinvestigating

   We are currently investigating an issue affecting Connectors in Phrase TMS. Customers may be unable to access or use Connector functionality during this time. Our engineering team is actively working to identify the cause and restore full service as quickly as possible.

2. 6 agosto 2026 alle ore 08:18 UTCinvestigating

   We are continuing to investigate this issue.

3. 6 agosto 2026 alle ore 08:43 UTCmonitoring

   We have identified the root cause and the issue has now been resolved. Connectors should be appearing as active again. We will continue to monitor the situation to ensure full stability.

4. 6 agosto 2026 alle ore 12:00 UTCmonitoring

   We continue monitoring the situation.

5. 6 agosto 2026 alle ore 13:19 UTCresolved

   The incident has been resolved and all components are back to operational.

1. 28 luglio 2026 alle ore 07:19 UTCinvestigating

   Il team di ingegneria ha identificato un problema con l'Orchestrator dove il nuovo Workflow Engine non sta attualmente eseguendo flussi di lavoro. Il problema e' sotto indagine.

2. 28 luglio 2026 alle ore 07:53 UTCinvestigating

   Stiamo continuando a indagare su questo problema.

3. 28 luglio 2026 alle ore 08:30 UTCidentified

   Il problema è stato identificato e si sta attuando una correzione.

4. 28 luglio 2026 alle ore 08:35 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati. Il motore del flusso di lavoro sta elaborando la coda delle esecuzioni in sospeso.

5. 28 luglio 2026 alle ore 11:49 UTCresolved

   Tutte le esecuzioni sono state elaborate. Questo incidente è stato risolto.

6. 30 luglio 2026 alle ore 07:09 UTCpostmortem

   ## Introduzione Vorremmo condividere dettagli su un incidente che ha colpito Phrase Orchestrator il 27–28 luglio 2026. Durante questo periodo, le esecuzioni del flusso di lavoro nel Next-Gen Workflow Engine non sono stati in grado di progredire e sono rimasti bloccati in uno stato "esecutivo". Nessun dato è stato perso durante l'incidente. Questo post-mortem spiega cosa è successo, quando è stato risolto, e i passi che abbiamo preso per prevenire una ricorrenza. # Timeline # 27 luglio 2026 alle 18:55 # Il motore del flusso di lavoro ha iniziato a produrre errori come le prestazioni di query del database degradate. Le esecuzioni del flusso di lavoro hanno bloccato e smesso di progredire. # 27 luglio 2026 alle 20:54 # Il primo rapporto cliente delle esecuzioni bloccato in "esecuzione" è stato ricevuto. # 27 luglio 2026 alle 22:39 # L'incidente è stato formalmente dichiarato. * **28 luglio 2026 alle 02:18 CEST** – Un riavvio del servizio fornito sollievo temporaneo; le esecuzioni del flusso di lavoro ripresero. # 28 luglio 2026 alle 05:15 # Il problema si è ripreso come il problema delle prestazioni del database sottostante persiste. # 28 luglio 2026 alle 09:56 # La causa principale è stata identificata e affrontata. Non sono state perse esecuzioni; tuttavia, a causa di riavviamenti parziali di servizio, alcune azioni all'interno delle esecuzioni sono state rielaborate, che potrebbero aver causato un piccolo numero di esecuzioni a fallire che altrimenti sarebbe successo. # 28 luglio 2026 alle 13:46 # Il backlog completo delle esecuzioni in stallo è stato confermato come chiarito. Il sistema è stato dichiarato stabile. * **28 luglio 2026 alle 13:48 CEST** – Incidente risolto. # Causa radice # L'incidente è stato causato dal progressivo gonfiore degli indici di base utilizzati dal sistema di pianificazione del lavoro del flusso di lavoro. Le prestazioni di questi indici particolari gradualmente degradati nel tempo, come hanno accumulato indici morti da scritture e aggiornamenti precedenti. Il motore di pianificazione del lavoro acquisisce blocchi di coordinamento a livello di database durante la richiesta di questi indici per determinare quali posti di lavoro spedire. Mentre le ricerche indice sono aumentate più lentamente, hanno cominciato a superare il timeout di dichiarazione configurato del database. Quando una ricerca è stata annullata dal timeout, il processo di pianificazione responsabile di quel lavoro si è schiantato e riavviato. Senza programmatori in esecuzione, nessun passo del flusso di lavoro potrebbe essere spedito e tutte le esecuzioni del flusso di lavoro in corso sono rimaste bloccate. Il server del database è rimasto sano durante l'incidente, con normali livelli di CPU e connessione. Il problema era esclusivamente l'isolamento e la latenza all'interno dello strato di programmazione. Un riavvio del servizio ha cancellato i processi crashed e l'esecuzione temporaneamente ripristinata. Tuttavia, poiché l'indice bloat era ancora presente, lo stesso degrado si ripeteva una volta che il carico di query riprendeva. Un indice manuale ricostruisce le prestazioni completamente restaurate e risolve il problema. ## Azioni per prevenire la ricorrenza 1. **Manutenzione automatica degli indici aggiunti** – La manutenzione degli indici automatici programmati è stata configurata per gli indici interessati. Questo assicura che il gonfiore non può accumularsi nel tempo ed elimina le condizioni che hanno innescato questo incidente. 2. **Gli indici di legge rimossi** – Gli indici di database legacy non utilizzati sono stati identificati e rimossi, riducendo la superficie complessiva di manutenzione e semplificando l'igiene futura dell'indice. 3. ** Copertura di gestione aggiornata** – Il nostro paesaggio di monitoraggio viene rivisto e aggiornato per riflettere lo stato attuale del motore del flusso di lavoro. Questo lavoro chiuderà le lacune che hanno permesso al degrado di andare inosservato prima del primo rapporto cliente.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 27 luglio 2026 alle ore 23:48 UTCinvestigating

   Engineering ha identificato un problema con l'Orchestrator, dove il nuovo Workflow Engine non sta attualmente eseguendo flussi di lavoro. Il problema e' sotto indagine.

2. 28 luglio 2026 alle ore 00:41 UTCresolved

   Tutti i flussi di lavoro vengono eseguiti di nuovo come previsto.

3. 30 luglio 2026 alle ore 07:08 UTCpostmortem

   ## Introduzione Vorremmo condividere dettagli su un incidente che ha colpito Phrase Orchestrator il 27–28 luglio 2026. Durante questo periodo, le esecuzioni del flusso di lavoro nel Next-Gen Workflow Engine non sono stati in grado di progredire e sono rimasti bloccati in uno stato "esecutivo". Nessun dato è stato perso durante l'incidente. Questo post-mortem spiega cosa è successo, quando è stato risolto, e i passi che abbiamo preso per prevenire una ricorrenza. # Timeline # 27 luglio 2026 alle 18:55 # Il motore del flusso di lavoro ha iniziato a produrre errori come le prestazioni di query del database degradate. Le esecuzioni del flusso di lavoro hanno bloccato e smesso di progredire. # 27 luglio 2026 alle 20:54 # Il primo rapporto cliente delle esecuzioni bloccato in "esecuzione" è stato ricevuto. # 27 luglio 2026 alle 22:39 # L'incidente è stato formalmente dichiarato. * **28 luglio 2026 alle 02:18 CEST** – Un riavvio del servizio fornito sollievo temporaneo; le esecuzioni del flusso di lavoro ripresero. # 28 luglio 2026 alle 05:15 # Il problema si è ripreso come il problema delle prestazioni del database sottostante persiste. # 28 luglio 2026 alle 09:56 # La causa principale è stata identificata e affrontata. Non sono state perse esecuzioni; tuttavia, a causa di riavviamenti parziali di servizio, alcune azioni all'interno delle esecuzioni sono state rielaborate, che potrebbero aver causato un piccolo numero di esecuzioni a fallire che altrimenti sarebbe successo. # 28 luglio 2026 alle 13:46 # Il backlog completo delle esecuzioni in stallo è stato confermato come chiarito. Il sistema è stato dichiarato stabile. * **28 luglio 2026 alle 13:48 CEST** – Incidente risolto. # Causa radice # L'incidente è stato causato dal progressivo gonfiore degli indici di base utilizzati dal sistema di pianificazione del lavoro del flusso di lavoro. Le prestazioni di questi indici particolari gradualmente degradati nel tempo, come hanno accumulato indici morti da scritture e aggiornamenti precedenti. Il motore di pianificazione del lavoro acquisisce blocchi di coordinamento a livello di database durante la richiesta di questi indici per determinare quali posti di lavoro spedire. Mentre le ricerche indice sono aumentate più lentamente, hanno cominciato a superare il timeout di dichiarazione configurato del database. Quando una ricerca è stata annullata dal timeout, il processo di pianificazione responsabile di quel lavoro si è schiantato e riavviato. Senza programmatori in esecuzione, nessun passo del flusso di lavoro potrebbe essere spedito e tutte le esecuzioni del flusso di lavoro in corso sono rimaste bloccate. Il server del database è rimasto sano durante l'incidente, con normali livelli di CPU e connessione. Il problema era esclusivamente l'isolamento e la latenza all'interno dello strato di programmazione. Un riavvio del servizio ha cancellato i processi crashed e l'esecuzione temporaneamente ripristinata. Tuttavia, poiché l'indice bloat era ancora presente, lo stesso degrado si ripeteva una volta che il carico di query riprendeva. Un indice manuale ricostruisce le prestazioni completamente restaurate e risolve il problema. ## Azioni per prevenire la ricorrenza 1. **Manutenzione automatica degli indici aggiunti** – La manutenzione degli indici automatici programmati è stata configurata per gli indici interessati. Questo assicura che il gonfiore non può accumularsi nel tempo ed elimina le condizioni che hanno innescato questo incidente. 2. **Gli indici di legge rimossi** – Gli indici di database legacy non utilizzati sono stati identificati e rimossi, riducendo la superficie complessiva di manutenzione e semplificando l'igiene futura dell'indice. 3. ** Copertura di gestione aggiornata** – Il nostro paesaggio di monitoraggio viene rivisto e aggiornato per riflettere lo stato attuale del motore del flusso di lavoro. Questo lavoro chiuderà le lacune che hanno permesso al degrado di andare inosservato prima del primo rapporto cliente.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 20 luglio 2026 alle ore 12:53 UTCresolved

   Tra il 16 giugno 2026 01:00PM CEST e il 17 giugno 2026 11:00AM CEST, il connettore Phrase Job Sync ha subito prestazioni degradate. I clienti che utilizzano il Job Sync con il tipo di connessione predefinito hanno riscontrato guasti. Il team di ingegneria ha identificato una causa principale e ha fornito una correzione.

2. 20 luglio 2026 alle ore 12:54 UTCpostmortem

   ### Introduzione Vorremmo condividere ulteriori dettagli sugli eventi che si sono verificati con Phrase tra il 16 giugno 2026, 01:00PM CEST e il 17 giugno 2026, 11:00AM CEST, che ha portato a prestazioni degradate di Phrase Strings API, causando ai clienti che utilizzano il Job Sync con il tipo di connessione predefinito per i guasti di esperienza. Ci scusiamo per la rottura e ci impegniamo a prevenire incidenti simili in futuro. ## Timeline **Jun 16, 2026 @ 01:00 PM CEST** – Job Sync ha cominciato a mancare per i clienti utilizzando il tipo di connessione predefinito. I connettori non erano in grado di autenticarsi contro l'API Phrase Strings. **Jun 17, 2026 @ 10:00 AM CEST** – Il guasto di autenticazione è stato identificato dal team di ingegneria. **Jun 17, 2026 @ 10:28 AM CEST** – Il campo d'impatto è stato confermato: i clienti che utilizzano la connessione Job Sync predefinita sono stati colpiti. I clienti che utilizzano connettori basati su gettoni di accesso personale non sono stati colpiti. **Jun 17, 2026 @ 10:29 AM CEST** – La causa della radice è stata identificata: un cambiamento recente che ha aggiunto il supporto multi-piattaforma token inavvertitamente introdotto errori con alcuni token piattaforma esistenti. **Jun 17, 2026 @ 10:40 AM CEST** – Una correzione è stata preparata e presentata per la revisione. **Jun 17, 2026 @ 10:53 AM CEST** – La correzione è stata implementata e la funzionalità di JobSync è stata completamente restaurata. ## Root Cause Una modifica del codice introdotta per aggiungere il supporto per i token di autenticazione multi-piattaforma ha modificato il modo in cui i token della piattaforma in arrivo vengono convalidati ed elaborati nell'API di Phrase Strings. Questa modifica non era compatibile con un formato di token esistente utilizzato dal tipo di connessione predefinito. Di conseguenza, i gettoni della piattaforma sono stati respinti dall'API Strings con una risposta `401 non autorizzata. Il connettore si ritirò a stabilire la connessione fino a esaurire il suo budget di riprovazione, facendo fallire tutte le operazioni colpite. I clienti che utilizzano i token di accesso personale non sono stati colpiti in quanto i loro gettoni seguono un percorso di codice diverso. ### Azioni per prevenire la ricorrenza La causa principale era una gestione token di cambiamento incompatibile all'indietro che non è stata rilevata durante lo sviluppo. Vengono prese le seguenti azioni: * ** Test di compatibilità del formato di token nelle modifiche auth:** Quando si introduce un nuovo formato di token/autentici accanto a quello esistente, i test devono coprire esplicitamente il caso di transizione — i token di vecchio formato vengono elaborati sotto la nuova logica di rilevamento — non solo ogni formato in isolamento.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 16 luglio 2026 alle ore 15:47 UTCinvestigating

   Stiamo attualmente indagando su un problema che riguarda il nostro servizio Metrics che può portare a un consumo di metriche duplicato per alcuni clienti. Il nostro team sta attivamente lavorando per identificare i componenti interessati e determinare la causa principale. Forniremo ulteriori aggiornamenti in quanto ulteriori informazioni diventano disponibili.

2. 16 luglio 2026 alle ore 16:29 UTCidentified

   Abbiamo identificato la causa principale come instabilità su un broker specifico, che sta causando ripetuti riequilibrio del gruppo di consumatori nel nostro servizio Metrics e portando a duplicare l'elaborazione di aggiornamenti metrici. Ciò può causare alcuni clienti che sperimentano calcoli di consumo errati o blocco di account inaspettato. Continuiamo a lavorare su una soluzione.

3. 16 luglio 2026 alle ore 17:31 UTCmonitoring

   Abbiamo interrotto la progressione del problema e ora stiamo lavorando per identificare l'intera portata di impatto, comprese le organizzazioni che sono interessate o bloccate. I conti interessati saranno priorità per la risoluzione attraverso un processo di deduplica, anche se questo richiederà un po 'di tempo per completare.

4. 16 luglio 2026 alle ore 19:04 UTCidentified

   Abbiamo deduplicato con successo il consumo di metriche per tutte le organizzazioni bloccate. Stiamo continuando a lavorare per sviluppare strumenti di deduplicazione per l'organizzazione per garantire i dati accurati del ciclo di fatturazione, con l'intero team di scalare queste correzioni domani mattina.

5. 17 luglio 2026 alle ore 13:02 UTCmonitoring

   Continuiamo a fare progressi nel risolvere il problema del consumo di metriche duplicato identificato per la prima volta il 16 luglio. La causa principale è stata identificata e affrontata. Dal nostro ultimo aggiornamento, il nostro team ha corretto i dati duplicati per tutti gli account precedentemente bloccati. Stiamo ora lavorando attraverso una serie rimanente di conti interessati e ci aspettiamo che questa pulizia continui nei prossimi giorni. Non si verificano ulteriori duplicazioni, questo lavoro affronta solo i dati storici.

6. 20 luglio 2026 alle ore 12:07 UTCresolved

   Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 16 luglio 2026 alle ore 14:49 UTCinvestigating

   Stiamo attualmente indagando su un problema che riguarda Phrase Orchestrator. Stiamo lavorando per identificare la causa principale e fornire ulteriori aggiornamenti non appena ulteriori informazioni sono disponibili.

2. 16 luglio 2026 alle ore 15:27 UTCinvestigating

   Stiamo continuando a indagare su questo problema.

3. 16 luglio 2026 alle ore 15:27 UTCidentified

   Il problema è stato identificato e si sta attuando una correzione.

4. 16 luglio 2026 alle ore 15:41 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati.

5. 16 luglio 2026 alle ore 16:12 UTCresolved

   Orchestratore (EU) è disponibile di nuovo dalle 17:32 PM CEST. Tutte le esecuzioni in sospeso vengono processate. Questo incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 10 luglio 2026 alle ore 14:24 UTCinvestigating

   Stiamo attualmente indagando su un problema che riguarda il Centro di traduzione in Phrase Strings (regioni UE e Stati Uniti), dove le stringhe non sono in grado di caricare. Il nostro team di ingegneri ha identificato una potenziale causa e sta lavorando attivamente per risolverla. Forniremo ulteriori aggiornamenti mentre le nostre indagini progrediscono.

2. 10 luglio 2026 alle ore 14:37 UTCmonitoring

   Una soluzione è stata implementata e stiamo monitorando i risultati.

3. 10 luglio 2026 alle ore 15:24 UTCresolved

   Questo incidente è stato risolto.

4. 7 agosto 2026 alle ore 07:14 UTCpostmortem

   ## Introduction On July 10, 2026, parts of the Phrase Strings frontend at [app.phrase.com](http://app.phrase.com/) failed to load correctly for a short period, after required stylesheets and scripts failed to load — the underlying service itself stayed available. The issue began at 16:08 CEST and was resolved by 16:27 CEST. This post-mortem explains what happened and what we're doing to prevent a recurrence. ## Timeline * **Jul 10, 2026 at 16:08 CEST** – A deployment introduced new application assets that were never uploaded to our storage service, so the application could no longer load its stylesheets and scripts for customers. * **Jul 10, 2026 at 16:21 CEST** – Issue detected, incident declared. * **Jul 10, 2026 at 16:24 CEST** – Root cause identified. * **Jul 10, 2026 at 16:26 CEST** – Fix applied. * **Jul 10, 2026 at 16:27 CEST** – Customer-facing impact ended. * **Jul 10, 2026 at 16:32 CEST** – Incident downgraded to monitoring while the underlying configuration was addressed. * **Jul 10, 2026 at 17:12 CEST** – Configuration corrected, incident resolved. ## Root Cause During a planned, routine maintenance, a configuration change unintentionally disabled the process that uploads application assets \(stylesheets, scripts\) to our storage and content-delivery service. This went unnoticed at first, since the assets already in place kept working and no new versions had been shipped yet. On July 10, 2026, a deployment shipped new versions of these assets. Because uploading was still disabled, the new files never reached the storage service, and the application could not load its stylesheets and scripts. ## Actions to Prevent Recurrence 1. **Asset synchronization re-enabled** – The disabled process was fixed, restoring correct asset delivery. 2. **Asset availability monitoring** – Adding monitoring to detect asset load failures automatically, before customers are affected.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 8 luglio 2026 alle ore 12:57 UTCinvestigating

   Stiamo ricevendo rapporti dagli utenti circa i posti di lavoro che scompaiono dai progetti e stiamo attualmente indagando sul problema.

2. 8 luglio 2026 alle ore 13:08 UTCmonitoring

   La questione è stata identificata, è stata implementata una correzione e stiamo monitorando la situazione.

3. 8 luglio 2026 alle ore 13:55 UTCresolved

   L'incidente è stato risolto.

Tradotto automaticamente dall'aggiornamento ufficiale dell'incidente.

1. 7 luglio 2026 alle ore 08:34 UTCinvestigating

   We are currently investigating issues with CAT Web Editor.

2. 7 luglio 2026 alle ore 08:59 UTCmonitoring

   The issue has been identified, a fix was implemented and we are monitoring the situation.

3. 7 luglio 2026 alle ore 09:27 UTCresolved

   The incident has been resolved.

1. 29 giugno 2026 alle ore 07:30 UTCinvestigating

   Hi everyone, this is a test. Please ignore, thank you!

2. 29 giugno 2026 alle ore 08:05 UTCidentified

   Hi everyone, this is a test. Please ignore, thank you!

3. 29 giugno 2026 alle ore 08:09 UTCresolved

   This incident has been resolved.

1. 26 giugno 2026 alle ore 16:19 UTCinvestigating

   Hi everyone, this is a test. Please ignore. Thank you!

1. 26 giugno 2026 alle ore 07:31 UTCinvestigating

   Hello everyone, this is a test. Please ignore, thank you!

2. 26 giugno 2026 alle ore 08:16 UTCinvestigating

   Hello everyone, this is a test. We're "investigating" the issue. Please ignore, thank you!