GPT-3からGPT-5へ：AI翻訳の品質は実際にどう変化したのか

GPT-3、GPT-4、そしてGPT-5は、5年の歳月と数世代にわたるアーキテクチャの進化を隔てていますが、翻訳において有益な問いは「どれが最も賢いか」ではありません。より具体的に言えば、「慣用句や曖昧さ、レジスター（言葉遣いのレベル）といった、直訳できない言語の要素をこれらのモデルがどう処理するかにおいて、具体的に何が変わったのか」ということです。改善は特定の領域において、特定のタイミングで見られ、古いものから新しいものへと単純に直線的に進んだわけではありませんでした。

GPT-3が翻訳に実際にもたらしたもの

OpenAIは2020年にGPT-3をリリースしました。これはMachineTranslation.com独自のテストプログラムが存在する前であったため、ここでの内容は独自のベンチマークではありません。社内テストの結果ではなく、広く記録されている事実です。GPT-3は、タスク固有のトレーニングを行うことなく、複数の言語で流暢かつ自然なテキストを生成できたこの種の最初のモデルであり、真の金字塔となりました。しかし翻訳という点において、その流暢さは実質的なリスクも生み出しました。GPT-3は、出力内容にミスがあったことを示す兆候を一切見せないまま、ターゲット言語で自信に満ちた整った文章を生成しながらも、意味が完全に誤っているという事態を引き起こすことがあったのです。

GPT-4の登場で何が変わったのか

GPT-4は2023年3月にローンチされ、MachineTranslation.com独自のモデルテストはこの世代あたりから本格化します。改善は確かなものでしたが、均一ではありませんでした。文脈によって意味が異なる英語のフレーズ「That's sick」を日本語に翻訳してテストしたところ、テストした6つのモデルのうちGPT-4.1-nanoだけが、原文の意図した二重の意味を1つの解釈に狭めてしまい、他の5つのモデルは意図された曖昧さを維持していました。慣用句はさらに大きな弱点でした。スペイン語の慣用句「llevarse el gato al agua」を5つのGPTバージョンで同時に実行したところ、より小型のGPT-4o-miniとGPT-4.1-nanoの両方が、慣用句の意味を完全に見落とし、まったく同じ直訳の誤った翻訳を出力しました。

同様のパターンは他の場面でも現れました。ドイツ語の慣用句「ich verstehe nur Bahnhof」をGPTとClaudeの8つのサブバージョンで実行したところ、特にGPT-4o-miniが文字通りに誤った翻訳をしたのに対し、同じテスト内でより小型で新しいモデルであるGPT-4.1-nanoは正しく翻訳しました。世代とモデルサイズは必ずしも一貫して対応しておらず、この傾向についてはMachineTranslation.comのモデルバージョン別テストでさらに深く掘り下げられています。

GPT-5が翻訳において変えたこと

OpenAIは、タスクに応じて高速なデフォルトモデルとより深い推論モデルの間でルーティングを行う統合システムとしてGPT-5を導入しました。これはGPT-4の単一モデル設計からの構造的な変更です。OpenAI自身のGPT-5 System Cardによると、モデル全体の事実誤認率はGPT-4より約45%、GPT-3より約80%低くなっており、この全体的な信頼性の向上が翻訳においても明確に現れています。MachineTranslation.comのテストでは、GPT-4時代のモデルが最も苦戦した部分で最も明確な改善が確認されました。GPT-4o-miniとGPT-4.1-nanoが誤訳した同じスペイン語の慣用句において、GPT-5.4-miniとGPT-5.4の双方が、表現にわずかな違いはあったものの、慣用句そのものを理解した上で正しく自然な翻訳にたどり着いたのです。

この最後の点は重要です。標準的なビジネスフレーズである「please confirm receipt of this document」をドイツ語に翻訳した別のテストでは、GPT-4o-miniやGPT-5世代のモデルを含め、テストしたすべてのモデルでほぼ同じ出力が得られました。世代間のギャップは比喩的・曖昧な表現に特有のものであり、全体的な品質差があるわけではありません。

新しい世代のGPTは、常に優れた翻訳を意味するのか？

いいえ。モデルファミリー全体でヘブライ語の慣用句をテストしたところ、GPT-5.4-miniとGPT-5.4は同じフレーズに対して2つの異なる部分的な解釈に行き着き、どちらも完全には正しくありませんでしたが、関連性のない古いモデルの方がより近い結果を出しました。新しいモデルが自動的により正確であるとは限らず、より大規模または最新のモデルが、特定の文において自動的により安全な選択肢になるとは限りません。

現在の翻訳におけるGPT-5の立ち位置

GPT-3とGPT-4はともにChatGPTから廃止されました。GPT-4は、既存のインテグレーション向けにOpenAIのAPI経由でのみ利用可能です。現在の世代であるGPT-5.4とGPT-5.5は、現在MachineTranslation.comで稼働しているモデルであり、すべての言語ペアで一様に優れているわけではないものの、他のプロバイダーの現行モデルと比べても競争力のあるパフォーマンスを発揮しています。現在のGPTのサブバージョン同士の比較や、ClaudeやDeepSeekといったモデルとの比較についての詳細は、世代間の概要よりも踏み込んだMachineTranslation.comのサブバージョン直接対決テストをご覧ください。

これが大規模なローカリゼーションにおいて意味すること

大規模なローカリゼーションプログラムにおいて最も重要な知見は、「GPT-5がGPT-3に勝っている」ということではありません。モデルファミリーだけでなく、モデルのバージョンによって特定の慣用句や曖昧なフレーズが正しく翻訳されるかどうかが決まり、それはここで紹介した一握りの言語ペアだけでなく、すべての言語ペアに当てはまるということです。これは、トーンや比喩的表現に依存するコンテンツ、特にマーケティングコピーやユーザー生成コンテンツにおいて最も重要となります。1つの慣用句を直訳してしまうだけで、投稿や広告全体の意味が変わってしまう可能性があるからです。何十もの言語にコンテンツを展開するプログラムでは、そのすべての言語でまさにこのような表現に直面することになります。MachineTranslation.comのサブバージョン検証シリーズおよび完全なモデル比較テストで、この点についてさらに詳しく解説しています。あらゆる翻訳において現在のGPTモデルを20以上の他のモデルと並行して実行するという同プラットフォームのアプローチは、単一のモデルのバージョン履歴だけでは十分な信頼性を担保できないという理由から生まれたものです。

よくある質問