翻訳におけるQwen vs Gemini、そして翻訳方向が重要な理由

手元に2つのモデルと言語ペアのリストがあり、プロジェクトをどちらのモデルに任せるべきかを判断しなければならないとします。QwenとGeminiの比較の多くは、1つの総合スコアで結論を出しています。しかし、単一のスコアでは、結果を左右する要因である翻訳の方向が見えなくなってしまうと私は考えています。

私はMachineTranslation.comで稼働するモデルの検証方法に携わっているため、同一のテキストでスコア測定された98の言語ペアにおいてQwenとGeminiを比較することができます。そのうち68ペアでGeminiが、29ペアでQwenが高いスコアを獲得し、平均スコア差は10点満点中0.08点でした。この総合結果だけでは、ウルドゥー語から英語、あるいは英語からハイチクレオール語への翻訳でどちらのモデルを選ぶべきかはわかりません。

この記事では、両モデルの差がわずかである領域と、それぞれが優位に立つ領域を明らかにします。また、現時点では断言できない点についても説明します。今回のデータは、Googleが10月にGemini 4を発表する前の2026年8月8日までのものなので、両モデルの旧バージョンを対象としています。

主なポイント

• 同一テキストでスコア測定された98の言語ペア（2026年7月12日〜8月8日）において、Geminiが68ペア、Qwenが29ペアで高いスコアを記録し、1ペアは同点でした。
• 平均スコア差は小さく、Qwenの8.98点に対してGeminiは9.06点であり、98ペア中60ペアが0.1点差以内に収まっています。
• 英語への翻訳では、27ペア中7ペアでQwenが、3ペアでGeminiが0.1点を超える差をつけてリードしており、残りの17ペアは0.1点以内の差でした。
• 英語からの翻訳では、29ペア中13ペアでGeminiが0.1点を超える差をつけてリードしており、Qwenがリードしたペアはありませんでした。
• このデータはGoogleが2026年10月にGemini 4を発表する前のものであるため、以前のGeminiバージョンを対象としており、最新情報として扱うには再検証が必要です。

翻訳にはQwenとGeminiのどちらが優れているか？

それは方向によります。目的言語が英語である場合は両モデルの性能が拮抗しており、それ以外のペアの多くではGeminiの方が高いスコアを出しているためです。全98ペア中、Geminiは68ペアでより高いスコアを獲得しました。MachineTranslation.comによる2026年7月12日から8月8日までのスコアでは、Geminiの平均が10点満点中9.06点、Qwenが8.98点であり、平均差は0.08点でした。

この検証パネルでは、ChatGPT、Claude、DeepSeek、Gemini、Qwenのすべてが実際のスコアを獲得したセグメントのみを集計しているため、すべてのモデルが同一の原文テキストで評価されます。各言語ペアには少なくとも30のセグメントが含まれています。このパネルを使用しているのは、異なるテキストでモデル同士を比較するという、よくある誤りを排除するためです。

勝敗数で見ると、Geminiが68ペア（69%）、Qwenが29ペア（30%）でリードし、1ペアは同点でした。しかし、98ペア中60ペアが0.1点差以内であるため、勝敗数だけでは差が過大に見えてしまいます。次のセクションでは、結果を方向別およびスコア差別で詳しく見ていきます。

それぞれのモデルにはどの翻訳方向が有利か？

英語が原文言語である場合、またはどちらの言語も英語でない場合はGeminiが優位に立ち、英語が目的言語である場合はQwenがGeminiと同等かそれ以上の結果を出しています。英語からの翻訳では、29ペア中13ペアでGeminiが0.1点を超える差をつけてリードしており、Qwenがリードしたペアはありませんでした。英語への翻訳では、27ペア中7ペアでQwenがその差をつけてリードし、Geminiは3ペアでした。

英語への翻訳において、Qwenは27ペア中24ペアでGeminiとの差が0.1ポイント以内であるか、Geminiを上回っています。方向別に平均すると、英語への翻訳ではQwenが約0.04ポイントリードしているのに対し、英語からの翻訳ではGeminiが約0.16ポイント、英語以外の2言語間ではGeminiが0.13ポイントリードしています。

なぜこのような差が生じるのかは分からず、今回のデータからそれを知ることもできません。最初に検証すべき説明としては各モデルのトレーニングデータの構成比が挙げられますが、その検証はまだ行っていません。QwenはChatGPTに対しても同様の傾向を示しています。同じ検証において、当社のQwen対ChatGPTの比較では、英語への翻訳において両者はほぼ互角であり、その他のペアではChatGPTが89%でリードしていました。

どの言語ペアで最も大きな差が見られますか？

最大の差がついたケースはいずれもGeminiが優勢です。ロシア語からカザフ語、英語からハイチ・クレオール語、英語からタガログ語、スペイン語からギリシャ語、アラビア語からペルシャ語において、Geminiは0.51から0.95ポイントリードしています。Qwenの最大のリード幅はそれよりも小さく、0.15から0.26ポイントにとどまり、上位5ペアのうち4ペアが英語への翻訳です。

これらを最終的なランキングとして扱うべきではないでしょう。最も差が大きかったロシア語からカザフ語、英語からハイチ・クレオール語の2組は、言語ペアの中央値よりもサンプル数が少なくなっています。英語からタガログ語、スペイン語からギリシャ語、アラビア語からペルシャ語はより多くのサンプルに基づいているため、これら3組のほうが信頼できます。サンプル数が少ない2組のスコア差については、判断基準にする前に再テストを行うべきだと考えます。

0.1ポイントの差は何を意味するのか？

私の見解では、0.1点未満の差は勝者を決めるには小さすぎます。98組のペアのうち60組がその差の範囲内に収まっており、各ペアは限られた数のセグメントでスコア化されています。0.1という基準は私自身の暫定的な閾値であり、これらのペアについて有意性検定を実施したわけではありません。

また、スコアだけでは見落とされる違いもあります。一般的なフレーズのテストにおいて、アラビア語の「sorry」を22のAIモデルで処理しました。GeminiとQwenはどちらもカジュアルな「آسف」を選択しました。ChatGPTと統合結果はフォーマルな「عذرًا」を選択しました。どのモデルも9.5のスコアを獲得したため、2つの単語にはレジスター（言葉遣い・使用域）の違いがあるものの、スコアには変動がありませんでした。

だからこそ、私はスコア差とレジスターの具体例を併せて見ています。目に見えるレジスターの違いを伴うわずかな差については、人間の判断が必要です。サンプルの少ないペアにおける大きな差については、再テストが必要です。

QwenとGeminiでは、異なるタイプの間違いをしますか？

はい。2026年ワールドカップの引用文テストにおいて、両モデルとも他のモデルが選ばなかった表現を少なくとも1つ選択しており、スコアはほとんど動きませんでした。Geminiはエムバペ選手のフレーズを「with each game」と訳し、ヴィルツ選手の引用文を逐語訳したのに対し、Qwenはスカローニ監督の引用文に対して異なる解釈を示しました。これらの事例のスコアは9.2から9.5の範囲でした。

詳細は、ワールドカップの引用文テストによるものです。先を見据えることに関するエムバペ選手の引用文では、他のモデルが「match」を維持したのに対し、Geminiは「with each game」と表記し、レジスターのわずかなズレによりスコアは9.4でした。ヴィルツ選手の引用文では、Geminiはあるフレーズを逐語訳して意味を変えてしまい、こちらも9.4でした。スカローニ監督の引用文では、ほとんどのモデルが1つの解釈に収束したのに対し、Qwenは「that is what matters」と表記し、スコアは9.4でした。エムバペ選手の戦術に関する引用文では、ClaudeとDeepSeekがイギリスのサッカー英語を選んだのに対し、Gemini、Qwenなどはアメリカ英語を選び、Qwenのスコアは他よりも低い9.2となりました。

私はこれらをちょっとした癖だと捉えています。Geminiの例は、レジスターや逐語的な言い回しに関するものです。Qwenの例は、文のどの解釈を選択するかに関するものです。4つの例だけでパターンと呼ぶには少なすぎますが、単一のスコアに隠されてしまう違いの種類を示しています。

翻訳に最適なQwenのモデルはどれですか？

MachineTranslation.comのスコアではQwenがバージョンタグなしの単一モデルとして扱われているため、当社のデータから判断することはできません。Alibabaの Qwen3.8ファミリー は2026年8月にHugging Faceに登場したため、現在では複数のバージョンが存在しますが、本記事のスコアではそれらを区別していません。

これらをバージョンごとに分けたいところですが、現時点ではまだできません。プラットフォームレベルの数値は、対象期間中に稼働していた複数のQwenバージョンの平均値となっている可能性があります。プロジェクトのためにQwenのバージョンを選定する場合は、ご自身のテキストのサンプルを用いて比較することをお勧めします。

翻訳においてGeminiの代替となるモデルにはどのようなものがありますか？

ChatGPT、Claude、DeepSeek、Qwen、Grok、Mistral AIはすべてMachineTranslation.comで稼働しており、適切な代替モデルは言語ペアによって異なります。2026年7月12日から8月8日のスコアでは、英語への翻訳27ペアのうち24ペアで、QwenがGeminiとの差0.1点以内、あるいはGeminiを上回っています。当社のMistral AIのフランス語スコアを見ると、フランス語から英語への平均はGeminiを0.40点上回っています。

代替としてChatGPTを検討する場合も、結果は言語ペアによって分かれます。当社が公開したスペイン語から英語の内訳では、Geminiがセグメントの31%で勝利し、ChatGPTは21%でした。フランス語については、どちらのモデルも両方向で勝っているわけではありません。言語ペアによって最適な選択肢が変わるため、MachineTranslation.comは特定の代替モデルを1つだけ選ぶことはしません。それらを併用して実行します。

私の提案は、言語ペアと翻訳方向から始め、その上でどの代替モデルが適しているかを確認することです。

MachineTranslation.comは、QwenとGeminiの意見が分かれる箇所をどのように表示しますか？

MachineTranslation.comは、すべての翻訳において両方のモデルを実行し、モデル同士が一致した箇所と分かれた箇所を表示します。合意パネルには、テキストの処理に携わったAIモデルの数、一致率、意見が分かれた用語の数、そして合意が形成されるまでの所要時間が表示されます。