77 Memsource incidents · 2024年8月 — official updates, affected components, duration and resolution details.
現在、Phrase TMS (EU) 内の Jobs ビューで遅い問題を引き起こしている問題を調査しています。 プロジェクト管理機能にアクセスする際には、負荷時間を遅らせたり、性能を低下させる場合があります。 私たちのチームは、根本原因を特定し、可能な限り迅速に正常な性能を回復するために積極的に取り組んでいます.
問題の根本原因を特定しました。 私たちのチームは、積極的に修正を実施しています。 進捗状況を把握し、更新を行います.
修正が展開され、結果を監視しています。 問題が発生した場合は、ブラウザのキャッシュをクリアし、TMSで開くすべてのタブを閉じる必要があります.
問題は解決され、性能は安定しています.
公式のインシデント更新を自動翻訳しています。
弊社では、現在、第三者の翻訳ベンダーであるGengoと通信する際に断続的なエラーが発生しています。 これは、価格計算のタイムアウトと502エラーを引き起こし、Gengoを介してルーティングされた翻訳注文のための注文送信を引き起こし、EUとUSデータセンターの両方に影響を与えます。 ゲンゴは、終端の問題を確認し、調査しています.
Gengoは、末尾に根本的な問題を解決しました。 Gengoへの価格計算と翻訳注文の投稿が再び機能します.
公式のインシデント更新を自動翻訳しています。
ユーザーは、既存のジョブを開いたり、Phrase TMS プロジェクト内で新しいジョブを作成することができません。 課題を調査しています.
今後もこの問題について調査を続けてまいります.
問題が特定され、修正が実装されています.
修正を実装し、結果を監視しています.
問題は解決しました.
## 紹介 2026年8月31日、ファーゼTMSに罹患した事故について詳細をお知らせします。 2:26 と 5:57 PM CEST の間、レガシープロジェクトページの一部のユーザーは、ジョブの作成や編集などのツールメニューのアクションを使用しなかったり、分析を実行したり、ジョブの実行をしたりするなど、CAT の Web エディターが期待どおりに起動しなかったり、プロジェクトページにユーザーを返したりした。 このポスト・モレテムは、何が起こったのか、どのように解決されたのか、また、何が起こっているのかを説明します。 ## タイムライン * ** 2026年8月31日 2:26 PM CEST** – 読み込まれたユーザーのためのプロジェクトページでスクリプトの実行を破った欠陥を含むコード変更が生成されました。 * ** 8月 31, 2026 に 2:49 PM EST ** – 最初の顧客レポートは、ツールメニューのボタンを無効化して、エディタで開くのに失敗したジョブを記述しました。 ※** 2026年8月31日(金)午後3時10分頃までに、当社のチームは問題の根本原因を特定しました。 ※** 8月31日(水)午後3時48分に2026時00分～下流不具合の修正が完了しました。 * ** 8月 31, 2026 に 4:04 PM EST ** – プレプロダクション環境で修正を行いました。 * ** 2026年8月31日 5:18 PM CEST ** – 生産開始の修正の展開. * ** 8月 31, 2026 に 5:57 PM EST ** – すべての影響を受けた顧客のために固定は生産で十分に生き、正常な機能性は元通りにありました。 ## 根本原因 共有プロジェクトページの無関係、マイナーな表示問題の修正を目的としたコード変更による事件が発生しました。 つまり、値がページ内で直接埋め込まれたスクリプトにどのように入力されたかを変更しました。 ページをレンダーするシステムは、安全のための値を自動的にエンコードしますが、エンコーディングは、スクリプト内の定期的なページコンテンツに存在する値と区別しません。 その結果、変更が生成されたら埋め込まれたスクリプトの構文はサイレントに壊れていました。 ブラウザは、無効なスクリプトの構文に遭遇すると、ページ上のすべてのスクリプトが実行を停止するので、元の変更に関連する部分だけではありません。 これは、顧客が2つの別々の問題のように見えるものを経験した理由です\(無効なメニューボタンとジョブはエディタで開くことができません\)、実際には、同じ単一の欠陥のダウンストリーム効果。 リリース前の問題は未だに行われている検証は、下流データが修正されたことを確認したため、リリース前には、実際のページをブラウザに読み込まなかったため、正しくレンダリングされ、最後に実行されたことを確認しました。 ## 再発を防ぐアクション 1。**Fix デプロイ** - 根本的な不具合を修正し、同一日に特定された生産に展開しました。 2.**エンジニアリングガイダンスを更新しました** - 内部エンジニアリングの文書を更新し、この特定の失敗パターンを明確に記述し、それを処理するための正しい、安全な方法が明確に示しています。そのため、コードレビューの進行中に、この間違いのカテゴリがキャッチされます。 3。 **自動検出改善のアンダーウェイ** - 私たちは、フロントエンドの故障のこのクラスに自動監視を追加する作業をしています。そのため、顧客のレポートに依存するのではなく、顧客が影響を受ける前に同様の問題が対処できます.
公式のインシデント更新を自動翻訳しています。
現在、Phrase TMS(EU)の翻訳メモリ機能に影響を及ぼす問題について調査しています。 ユーザーは、この時間に翻訳メモリーやその他の関連操作を作成する問題が発生することがあります。 当社のチームは、原因を特定し、可能な限り迅速にフル機能を復元するために積極的に取り組んでいます.
問題が特定され、修正が実装されています.
修正を実施し、状況を監視しています.
事件が解決しました.
公式のインシデント更新を自動翻訳しています。
We are currently investigating an issue with branching events missing in Phrase Strings (EU), which may cause changes to not be applied when branches are merged.
We are continuing to investigate this issue.
The issue has been identified and a fix is being implemented.
A fix has been implemented. The backlog of missing events is now being processed. Once the queue is fully processed, unmerged branches will automatically receive the missing changes. We are monitoring the queue and results.
Changes made to branches during the incident window are now fully applied. Merged branches that were affected have been identified and impacted customers have been contacted directly. This incident has been resolved.
We are currently investigating an issue affecting Connectors in Phrase TMS. Customers may be unable to access or use Connector functionality during this time. Our engineering team is actively working to identify the cause and restore full service as quickly as possible.
We are continuing to investigate this issue.
We have identified the root cause and the issue has now been resolved. Connectors should be appearing as active again. We will continue to monitor the situation to ensure full stability.
We continue monitoring the situation.
The incident has been resolved and all components are back to operational.
エンジニアリングチームは、新しいワークフローエンジンがワークフローを実行していない Orchestrator の問題を特定しました。 問題は調査中です.
今後もこの問題について調査を続けてまいります.
問題が特定され、修正が実装されています.
修正を実装し、結果を監視しています。 ワークフローエンジンは、保留中の実行のキューを処理します.
すべての実行が処理されました。 この事件は解決しました.
## 紹介 2026年7月27日～28日に発足したプラーゼ・ Orchestrator に影響を受けた事件について詳しく紹介したいと思います。 この期間中、Next-Genワークフローエンジンのワークフローの実行が進行できず、「実行」状態に立ち往生したままになりました。 事故時にデータが失われない このポストモレテムは、それが解決されたとき、何が起こったのかを説明し、再発を防止するために取られた手順。 ## タイムライン * ** 27 7月 2026 に 18:55 CEST ** – ワークフローエンジンは、データベースクエリのパフォーマンスが劣化してエラーを生成しました。 ワークフローの実行が停止し、進行を停止します。 * ** 27 7月 2026 に 20:54 CEST ** – 「実行」で立ち往生する実行の最初の顧客のレポートが届きました。 * ** 27 7月 2026 に 22:39 CEST ** – 事件は正式に宣言された。 * ** 28 7月 2026 で 02:18 CEST** – サービスの再起動は一時的な救済を提供しました; ワークフローの実行は再開しました。 * ** 28 7月 2026 に 05:15 EST ** – 問題は、基礎となるデータベースのパフォーマンス問題として再発します。 * ** 28 7月 2026 に 09:56 CEST ** – 根本原因は特定され、対処された。 実行が失われませんでした。しかし、部分的なサービスの再起動により、実行中の一部のアクションはリトリビュートされ、そうでなければ成功しなかった場合、少数の実行を引き起こしました。 * ** 28 7月 2026 に 13:46 CEST ** – 固定された実行の完全なバックログがクリアされたように確認されました。 システムは安定して宣言されました。 * ** 28 7月 2026 に 13:48 CEST ** – 事件は解決しました. ## 根本原因 ワークフロージョブスケジューリングシステムで用いられるデータベースインデックスで進行中のbloatによるインシデントが発生しました。 これらの特定のインデックスのパフォーマンスは、以前の書き込みと更新からデッドインデックスエントリを蓄積したため、徐々に時間をかけて劣化します。 ジョブスケジューリングエンジンは、ディスパッチするジョブを決定するために、これらのインデックスをクエリしながら、データベースレベルの調整ロックを取得します。 インデックスの検索が遅くなるにつれて、データベースの構成文のタイムアウトを上回りました。 タイムアウトによってルックアップがキャンセルされたとき、その作業がクラッシュし、再起動する責任のあるスケジューリングプロセス。 スケジューラが実行されていないと、ワークフローの手順はディスパッチされず、すべてのインプログレッシブワークフローの実行が停止しました。 データベースサーバー自体は、通常の CPU と接続レベルで、インシデント全体で健康を維持しました。 問題は、スケジューリングレイヤー内でのみロックとレイテンシーの分裂でした。 サービスの再起動は、クラッシュされたプロセスをクリアし、一時的に実行を復元しました。 しかしながら、インデックスのブロートはまだ存在していたため、クエリの読み込みが再開された時に同じ劣化が再発される。 マニュアルインデックスは、完全に復元されたパフォーマンスを再構築し、問題を解決しました。 ## 再発を防ぐアクション 1。 **自動化されたインデックスメンテナンスが追加されました** - 影響を受けたインデックスのメンテナンスをスケジュールしました。 これにより、このインシデントをトリガーする条件を時間をかけて蓄積し、排除できないブロアが保証されます。 2.**レガシーインデックス削除** - 未使用のレガシーデータベースインデックスが特定され、削除され、全体的なメンテナンス表面を削減し、将来のインデックス衛生を簡素化します。 3。**監視カバレッジの更新** - 当社のモニタリングランドスケープは、ワークフローエンジンの現在の状態を反映するために見直し、更新されています。 この作業は、最初の顧客のレポートの前に、劣化が検出されないままになることを可能にするギャップを閉じます.
公式のインシデント更新を自動翻訳しています。
エンジニアリングは、新しいワークフローエンジンがワークフローを実行していない Orchestrator の問題を特定しました。 問題は調査中です.
すべてのワークフローは、期待どおりに再び実行されます.
## 紹介 2026年7月27日～28日に発足したプラーゼ・ Orchestrator に影響を受けた事件について詳しく紹介したいと思います。 この期間中、Next-Genワークフローエンジンのワークフローの実行が進行できず、「実行」状態に立ち往生したままになりました。 事故時にデータが失われない このポストモレテムは、それが解決されたとき、何が起こったのかを説明し、再発を防止するために取られた手順。 ## タイムライン * ** 27 7月 2026 に 18:55 CEST ** – ワークフローエンジンは、データベースクエリのパフォーマンスが劣化してエラーを生成しました。 ワークフローの実行が停止し、進行を停止します。 * ** 27 7月 2026 に 20:54 CEST ** – 「実行」で立ち往生する実行の最初の顧客のレポートが届きました。 * ** 27 7月 2026 に 22:39 CEST ** – 事件は正式に宣言された。 * ** 28 7月 2026 で 02:18 CEST** – サービスの再起動は一時的な救済を提供しました; ワークフローの実行は再開しました。 * ** 28 7月 2026 に 05:15 EST ** – 問題は、基礎となるデータベースのパフォーマンス問題として再発します。 * ** 28 7月 2026 に 09:56 CEST ** – 根本原因は特定され、対処された。 実行が失われませんでした。しかし、部分的なサービスの再起動により、実行中の一部のアクションはリトリビュートされ、そうでなければ成功しなかった場合、少数の実行を引き起こしました。 * ** 28 7月 2026 に 13:46 CEST ** – 固定された実行の完全なバックログがクリアされたように確認されました。 システムは安定して宣言されました。 * ** 28 7月 2026 に 13:48 CEST ** – 事件は解決しました. ## 根本原因 ワークフロージョブスケジューリングシステムで用いられるデータベースインデックスで進行中のbloatによるインシデントが発生しました。 これらの特定のインデックスのパフォーマンスは、以前の書き込みと更新からデッドインデックスエントリを蓄積したため、徐々に時間をかけて劣化します。 ジョブスケジューリングエンジンは、ディスパッチするジョブを決定するために、これらのインデックスをクエリしながら、データベースレベルの調整ロックを取得します。 インデックスの検索が遅くなるにつれて、データベースの構成文のタイムアウトを上回りました。 タイムアウトによってルックアップがキャンセルされたとき、その作業がクラッシュし、再起動する責任のあるスケジューリングプロセス。 スケジューラが実行されていないと、ワークフローの手順はディスパッチされず、すべてのインプログレッシブワークフローの実行が停止しました。 データベースサーバー自体は、通常の CPU と接続レベルで、インシデント全体で健康を維持しました。 問題は、スケジューリングレイヤー内でのみロックとレイテンシーの分裂でした。 サービスの再起動は、クラッシュされたプロセスをクリアし、一時的に実行を復元しました。 しかしながら、インデックスのブロートはまだ存在していたため、クエリの読み込みが再開された時に同じ劣化が再発される。 マニュアルインデックスは、完全に復元されたパフォーマンスを再構築し、問題を解決しました。 ## 再発を防ぐアクション 1。 **自動化されたインデックスメンテナンスが追加されました** - 影響を受けたインデックスのメンテナンスをスケジュールしました。 これにより、このインシデントをトリガーする条件を時間をかけて蓄積し、排除できないブロアが保証されます。 2.**レガシーインデックス削除** - 未使用のレガシーデータベースインデックスが特定され、削除され、全体的なメンテナンス表面を削減し、将来のインデックス衛生を簡素化します。 3。**監視カバレッジの更新** - 当社のモニタリングランドスケープは、ワークフローエンジンの現在の状態を反映するために見直し、更新されています。 この作業は、最初の顧客のレポートの前に、劣化が検出されないままになることを可能にするギャップを閉じます.
公式のインシデント更新を自動翻訳しています。
2026年6月16日(木)から1:00PM CESTと6月17日(日)まで、Prase Job Syncコネクタが劣化した性能を発揮します。 既定の接続タイプ 経験豊富な障害で Job Sync を使用しての顧客。 エンジニアリングチームは根本原因を特定し、修正を行いました.
### 導入事例 2026年6月16日、01:00PM CESTと6月17日、Phrase Strings APIのパフォーマンスを低下させ、お客様がJob Syncをデフォルトの接続タイプで使用することで、Phrase Strings APIのパフォーマンスを低下させ、障害が発生しました。 今後、このような事故を未然に防ぐことをお詫び申し上げます。 ### タイムライン **Jun 16, 2026 @ 01:00 PM CEST** – ジョブ同期は、デフォルトの接続タイプを使用して顧客に失敗し始めました. コネクタは、Phrase 文字列 API に対して認証できませんでした。 **Jun 17, 2026 @ 10:00 午前EST ** – エンジニアリングチームにより認証障害が特定されました。 **Jun 17, 2026 @ 10:28 AM CEST** – 影響範囲が確認されました: デフォルトの Job Sync 接続を使用しているお客様は影響を受けました。 個人的なアクセストークンベースのコネクターを使用しての顧客は影響を受けませんでした。 **Jun 17, 2026 @ 10:29 AM CEST** – ルート原因が特定されました: いくつかの既存のプラットフォームトークンでマルチプラットフォームトークンのサポートを誤って導入エラーを追加した最近の変更. **Jun 17, 2026 @ 10:40 AM CEST ** – 修正は準備され、レビューのために提出されました. **Jun 17, 2026 @ 10:53 AM EST ** – 修正が展開され、JobSyncの機能が完全に復元されました。 ## 根本原因 マルチプラットフォーム認証トークンのサポートを追加するために導入されたコード変更では、プラットフォームトークンの検証と処理方法をPhrase Strings APIで変更しました。 この変更は、デフォルト接続タイプで使用される既存のトークンフォーマットと互換性がありません。 その結果、プラットフォームトークンは `401 Unauthorized` 応答で Strings API によって拒否されました。 コネクタは、その再試用予算を排出するまで接続を確立し、影響を受けるすべての操作が失敗する。 個人アクセストークンを使用しての顧客は、トークンが異なるコードパスに従って影響を受けませんでした。 ##再発を防ぐアクション 根本原因は、開発中に検出されていないトークン処理に対する後方互換性のない変更でした。 次のアクションが受けられます。 *** auth 変更の互換性テストのトークン形式:** 既存のトークン/認証フォーマットを既存のものと一緒に導入する際には、テストは、新しい検出ロジックで処理される旧式のトークンを、分離の各形式だけではなく、トランジションケースを明示的にカバーしなければなりません.
公式のインシデント更新を自動翻訳しています。
現在、当社のメトリックサービスに影響を及ぼす問題について調査しています。これにより、一部の顧客のメトリック消費の重複が生じる可能性があります。 当社のチームは、影響を受けたコンポーネントを識別し、根本原因を決定するために積極的に取り組んでいます。 情報が増えるにつれて、さらなるアップデートが提供されます.
私たちは、特定のブローカーの不安定性として根本的な原因を特定しました。これは、当社のメトリックサービスで繰り返された消費者グループ再バランスを引き起こし、メトリック更新の重複処理につながることです。 これは、誤った消費の計算や予期しないアカウントブロックを経験する一部の顧客につながる可能性があります。 今後も修正に取り組んでまいります.
私たちは、問題の進行を中止し、組織が影響を受けたりブロックされたりするなど、インパクトのフルスコープを特定するために取り組んでいます。 欠陥のあるアカウントは、重複排除プロセスを通じて解決のために優先されますが、これは完了する時間がかかります.
ブロックされたすべての組織のメトリクス消費を巧妙に排除しました。 私たちは、明日の朝にこれらの修正をスケーリングするフルチームと、正確な請求サイクルデータを確実にするために、組織化の重複排除ツールを開発するために継続的に取り組んでいます.
引き続き、7月16日に特定された重複したメトリック消費問題の解決に取り組みます。 根本原因は特定され、対処されています。 最後の更新以来、当社のチームは以前にブロックされたすべてのアカウントの重複したデータを修正しました。 現在、影響を受けたアカウントの残りのセットを運用し、このクリーンアップが今後続くことを期待しています。 さらに重複が起こらないため、この作業は履歴データのみを処理します.
この事件は解決しました.
公式のインシデント更新を自動翻訳しています。
現在、ファーゼ・オーケストラーに影響を及ぼす問題について調査しています。 当社は、根本原因を特定し、より多くの情報が利用可能になったらただちに更新を行います.
今後もこの問題について調査を続けてまいります.
問題が特定され、修正が実装されています.
修正を実装し、結果を監視しています.
5:32 PM CEST以降、オーケスト(EU)が再び利用可能になりました。 保留中の実行はすべて処理されます。 この事件は解決しました.
公式のインシデント更新を自動翻訳しています。
現在、Phrase 文字列 (EU と US の領域) の翻訳センターに影響を及ぼす問題について調査しています。 当社のエンジニアリングチームは、潜在的な原因を特定し、その解決に積極的に取り組んでいます。 調査が進むにつれて、さらなるアップデートが提供されます.
修正を実装し、結果を監視しています.
この事件は解決しました.
## Introduction On July 10, 2026, parts of the Phrase Strings frontend at [app.phrase.com](http://app.phrase.com/) failed to load correctly for a short period, after required stylesheets and scripts failed to load — the underlying service itself stayed available. The issue began at 16:08 CEST and was resolved by 16:27 CEST. This post-mortem explains what happened and what we're doing to prevent a recurrence. ## Timeline * **Jul 10, 2026 at 16:08 CEST** – A deployment introduced new application assets that were never uploaded to our storage service, so the application could no longer load its stylesheets and scripts for customers. * **Jul 10, 2026 at 16:21 CEST** – Issue detected, incident declared. * **Jul 10, 2026 at 16:24 CEST** – Root cause identified. * **Jul 10, 2026 at 16:26 CEST** – Fix applied. * **Jul 10, 2026 at 16:27 CEST** – Customer-facing impact ended. * **Jul 10, 2026 at 16:32 CEST** – Incident downgraded to monitoring while the underlying configuration was addressed. * **Jul 10, 2026 at 17:12 CEST** – Configuration corrected, incident resolved. ## Root Cause During a planned, routine maintenance, a configuration change unintentionally disabled the process that uploads application assets \(stylesheets, scripts\) to our storage and content-delivery service. This went unnoticed at first, since the assets already in place kept working and no new versions had been shipped yet. On July 10, 2026, a deployment shipped new versions of these assets. Because uploading was still disabled, the new files never reached the storage service, and the application could not load its stylesheets and scripts. ## Actions to Prevent Recurrence 1. **Asset synchronization re-enabled** – The disabled process was fixed, restoring correct asset delivery. 2. **Asset availability monitoring** – Adding monitoring to detect asset load failures automatically, before customers are affected.
公式のインシデント更新を自動翻訳しています。
プロジェクトから消える案件について、ユーザーからレポートを受け取り、現在問題について調査中です.
問題は特定され、修正が実施され、状況を監視しています.
事件が解決しました.
公式のインシデント更新を自動翻訳しています。
We are currently investigating issues with CAT Web Editor.
The issue has been identified, a fix was implemented and we are monitoring the situation.
The incident has been resolved.
Hi everyone, this is a test. Please ignore, thank you!
Hi everyone, this is a test. Please ignore, thank you!
This incident has been resolved.
Hi everyone, this is a test. Please ignore. Thank you!
Hello everyone, this is a test. Please ignore, thank you!
Hello everyone, this is a test. We're "investigating" the issue. Please ignore, thank you!
Hi everyone, this is a test. Please ignore, thank you!
This incident has been resolved.
Hello everyone, this is a test, kindly ignore.
This incident has been resolved.
This is a test, please ignore.
This incident has been resolved.