Qwen vs ChatGPT : quel modèle d'IA traduit le mieux?

La génération actuelle de ChatGPT et Qwen font tous deux partie du groupe de modèles que MachineTranslation.com utilise pour chaque traduction, et non de deux concurrents externes évalués par rapport à la plateforme elle-même. Soumettez le même texte aux deux modèles sur des segments identiques, et ChatGPT l'emporte sur la plus grande part des paires de langues dans l'ensemble. Répartissez les résultats par direction, et le portrait se resserre nettement sur un point précis : la traduction vers l'anglais, où les deux sont presque à égalité.

Existe-t-il une IA meilleure que ChatGPT pour la traduction?

L'intérêt général pour les solutions de rechange à ChatGPT a augmenté à mesure que les modèles concurrents se sont améliorés, bien que les raisons varient grandement selon le cas d'utilisation et qu'il n'y ait pas d'explication unique. Pour la traduction en particulier, la question la plus utile est de savoir quel modèle est réellement le plus performant pour une paire de langues donnée, une question vérifiable plutôt qu'une affaire de perception.

Au cours des 28 derniers jours de trafic sur MachineTranslation.com, les deux modèles ont traduit des textes sources identiques dans 98 paires de langues. ChatGPT a obtenu un meilleur score pour 77 de ces paires; Qwen a obtenu un meilleur score pour 21 d'entre elles. La moyenne pondérée des résultats appariés place ChatGPT à 9.10 sur 10 et Qwen à 8.98, un écart réel mais modeste en moyenne, qui masque une disparité beaucoup plus marquée dès que l'on prend en compte la direction de traduction.

Pourquoi l'écart disparaît-il presque lors de la traduction vers l'anglais?

Les données montrent où la divergence se produit, mais pas pourquoi. Ce qui est clair, c'est que la compétitivité de Qwen n'est pas répartie de manière égale. Sur 27 paires où la langue cible est l'anglais, Qwen en remporte 13, ce qui équivaut essentiellement à un jeu de pile ou face. Sur les 71 paires restantes, tant pour la traduction à partir de l'anglais qu'entre deux langues autres que l'anglais, ChatGPT en remporte 63, soit 89% d'entre elles. Une équipe qui tiendrait pour acquis que la performance de Qwen vers l'anglais se transpose aux traductions sortantes ou entre paires sans anglais tirerait la mauvaise conclusion de la mauvaise direction.

Qwen est-elle une entreprise chinoise, et cela a-t-il de l'importance pour la traduction?

Qwen est développé par Alibaba Cloud, établie en Chine. En soi, cela ne change en rien la qualité avec laquelle le modèle traduit une phrase donnée; les données ci-dessus reflètent la qualité réelle des résultats, peu importe où le modèle est conçu. Là où cela peut avoir une importance, c'est dans le traitement des données : les entreprises qui traduisent du contenu réglementé ou sensible (contrats, dossiers médicaux, renseignements personnels) devraient considérer la question du lieu où un fournisseur d'IA traite et stocke ce contenu comme un véritable élément de diligence raisonnable, distinct de la qualité de traduction elle-même. Cela s'applique à n'importe quel fournisseur d'IA, et non uniquement à Qwen, et c'est en partie pourquoi MachineTranslation.com publie directement ses propres pratiques de sécurité et de traitement des données plutôt que de laisser la question en suspens.

L'un ou l'autre de ces modèles est-il plus fiable pour la traduction juridique et commerciale?

Pas de manière constante, et la divergence ne se résume pas toujours à savoir quel modèle obtient le meilleur score. Les tests effectués par MachineTranslation.com sur des textes contractuels réels ont révélé deux cas distincts à connaître avant de se fier à l'un ou l'autre des modèles pour du texte juridique. Le langage idiomatique prend parfois la direction opposée : un test comparatif direct distinct a révélé que ChatGPT traduisait une expression idiomatique allemande de façon littérale et incorrecte, tandis que Qwen trouvait le sens idiomatique exact, rappelant que l'avance globale d'un modèle dans les données agrégées ne se vérifie pas nécessairement phrase par phrase.

Aucun des deux modèles ne l'emporte systématiquement sur l'ensemble de ces trois cas : le score global d'un modèle ne prédit pas son comportement face à un terme ou une expression en particulier. C'est également pourquoi les textes juridiques et contractuels bénéficient d'une étape de vérification humaine, quel que soit le modèle ayant produit le premier jet.

Qu'en est-il de la couverture linguistique?

Ni ChatGPT ni Qwen ne publient de liste vérifiée et confirmée de façon indépendante des paires de langues pour lesquelles la qualité de la traduction diminue. Les deux sont des modèles polyvalents dotés d'un vaste entraînement multilingue, ce qui est bien différent de performances de traduction mesurées sur un ensemble précis de langues. MachineTranslation.com teste et évalue directement la qualité de traduction dans plus de 330 langues, plutôt que de se fier aux capacités linguistiques générales d'un modèle pour évaluer sa compétence réelle en traduction.

Que devriez-vous éviter de coller dans ChatGPT ou Qwen pour une traduction commerciale?

Ni ChatGPT ni Qwen n'ont été conçus comme des plateformes de traduction dédiées, et coller du contenu commercial sensible directement dans une interface de clavardage généraliste soulève les mêmes questions quant au traitement des données que de le coller dans n'importe quel autre outil d'IA grand public : où les données d'entrée sont traitées, si elles sont conservées et qui peut y avoir accès. Les contrats, les dossiers médicaux, les documents d'immigration et les états financiers sont précisément le genre de contenu pour lequel il vaut la peine de répondre à cette question avant de traduire, et non après. C'est une réelle raison pour laquelle une plateforme de traduction dédiée, dotée de pratiques publiées et vérifiables en matière de gestion des données, représente une option bien différente d'une interface de clavardage généraliste, quel que soit le modèle sous-jacent.

Comment MachineTranslation.com utilise concrètement les deux modèles

MachineTranslation.com exécute ChatGPT, Qwen et plus de 20 autres modèles d'IA pour chaque traduction, puis propose la version sur laquelle ces modèles s'entendent le plus. Vu l'écart marqué de performance entre Qwen et ChatGPT selon la direction de traduction, choisir un modèle par défaut signifierait faire le mauvais choix pour une part prévisible de paires de langues. Cette même tendance liée à la direction ressort également dans la comparaison entre Qwen et DeepSeek de MachineTranslation.com. Pour avoir un portrait complet de la manière dont les modèles actuels sont comparés, consultez les tests complets de comparaison de modèles de MachineTranslation.com.

Foire aux questions