Qwen vs ChatGPT: Quin model d'IA tradueix millor?

L'actual generació de ChatGPT i Qwen formen part del conjunt de models que MachineTranslation.com executa a cada traducció, no pas dos competidors externs que es comparen amb la mateixa plataforma. Si es passa el mateix text per tots dos en segments idèntics, ChatGPT s'imposa en la majoria de combinacions lingüístiques en conjunt. Si es desglossen els resultats per direcció, el panorama s'ajusta notablement en un aspecte concret: traduir cap a l'anglès, on tots dos estan pràcticament empatats.

Hi ha alguna IA millor que ChatGPT per a la traducció?

L'interès general per les alternatives a ChatGPT ha crescut a mesura que els models de la competència han millorat, tot i que els motius varien molt segons el cas d'ús i no hi ha una única explicació. En el cas específic de la traducció, la pregunta més útil és quin model funciona realment millor en una combinació lingüística determinada, una qüestió comprovable més que no pas una qüestió de preferències.

Al llarg dels darrers 28 dies de trànsit de MachineTranslation.com, tots dos models han traduït el mateix text d'origen en 98 combinacions lingüístiques. ChatGPT ha obtingut una puntuació superior en 77 d'aquestes combinacions; Qwen n'ha obtingut una de superior en 21. La mitjana ponderada dels resultats comparats situa ChatGPT en un 9.10 sobre 10 i Qwen en un 8.98, una diferència real però modesta de mitjana que amaga una disparitat molt més marcada quan es té en compte la direcció.

Per què desapareix gairebé la diferència quan es tradueix cap a l'anglès?

Les dades mostren on es produeix la diferència, no pas per què. El que queda clar és que la competitivitat de Qwen no es distribueix de manera uniforme. Dels 27 parells en què la llengua d'arribada és l'anglès, Qwen en guanya 13, bàsicament com tirar una moneda a l'aire. Dels 71 parells restants, tant traduint des de l'anglès com entre dues llengües que no són l'anglès, ChatGPT en guanya 63, és a dir, el 89%. Un equip que assumeixi que el rendiment de Qwen cap a l'anglès es trasllada a la traducció des de l'anglès o entre parells d'altres llengües estaria traient la conclusió equivocada de la direcció equivocada.

És Qwen una empresa xinesa, i té importància per a la traducció?

Qwen està desenvolupat per Alibaba Cloud, amb seu a la Xina. Per si sol, això no canvia com de bé tradueix el model una frase determinada; les dades anteriors reflecteixen la qualitat real dels resultats independentment d'on s'hagi creat el model. On sí que pot tenir importància és en la gestió de les dades: les empreses que tradueixen contingut regulat o sensible (contractes, historials mèdics, informació personal) haurien de tractar la qüestió d'on processa i emmagatzema aquest contingut un proveïdor d'IA com un aspecte real de diligència deguda, al marge de la qualitat de la traducció en si mateixa. Això s'aplica a qualsevol proveïdor d'IA, no pas a Qwen específicament, i és part del motiu pel qual MachineTranslation.com publica directament les seves pròpies pràctiques de seguretat i gestió de dades en lloc de deixar la pregunta sense resposta.

És algun dels dos models més fiable per a la traducció jurídica i empresarial?

No de manera constant, i la divergència no sempre depèn de quin model obté una puntuació més alta. Les proves de MachineTranslation.com amb llenguatge contractual real van trobar dos casos independents que val la pena conèixer abans de confiar en qualsevol dels dos models per a textos jurídics. El llenguatge idiomàtic de vegades va en sentit contrari: una prova comparativa directa va trobar que ChatGPT traduïa un modisme alemany de manera literal i incorrecta, mentre que Qwen va trobar el significat idiomàtic correcte, un recordatori que l'avantatge global de cap dels dos models en les dades agregades no es manté frase per frase.

Cap dels dos models guanya de manera constant en aquests tres casos: la puntuació agregada d'un sol model no prediu el seu comportament en cap terme o frase específics. També és per això que el text jurídic i contractual es beneficia d'un pas de verificació humana, independentment de quin model hagi produït el primer esborrany.

I pel que fa a la cobertura lingüística?

Neither ChatGPT nor Qwen no publiquen una llista verificada i confirmada de manera independent de parells d'idiomes on la qualitat de la traducció disminueix. Tots dos són models d'ús general amb un ampli entrenament multilingüe, cosa que difereix d'un rendiment de traducció mesurat en un conjunt específic d'idiomes. MachineTranslation.com avalua i puntua directament la qualitat de la traducció en més de 330 idiomes, en comptes de basar-se en la capacitat lingüística general d'un model com a indicador de com tradueix realment.

Què no hauríeu d'enganxar a ChatGPT o Qwen per a traduccions empresarials?

Ni ChatGPT ni Qwen no es van dissenyar com a plataformes de traducció dedicades, i enganxar contingut empresarial confidencial directament en una interfície de xat d'ús general comporta els mateixos dubtes sobre la gestió de dades que enganxar-lo en qualsevol altra eina d'IA de consum: on es processa la informació introduïda, si es conserva i qui hi té accés. Contractes, historials mèdics, documents d'immigració i estats financers són exactament la mena de contingut en què val la pena respondre a aquesta pregunta abans de traduir, no després. Aquest és un motiu real pel qual una plataforma de traducció dedicada amb pràctiques de gestió de dades públiques i verificables és una proposta diferent d'una interfície de xat d'ús general, independentment del model que hi hagi al darrere de cadascuna.

Com utilitza realment MachineTranslation.com tots dos models

MachineTranslation.com executa ChatGPT, Qwen i més de 20 altres models d'IA en cada traducció i, després, ofereix la versió en què aquests models coincideixen més. Tenint en compte com es divideix clarament el rendiment de Qwen i ChatGPT segons la direcció, triar un sol model predeterminat suposaria equivocar-se en una proporció previsible de parells d'idiomes. El mateix patró depenent de la direcció apareix en la comparació de Qwen vs DeepSeek de MachineTranslation.com. Per tenir una visió completa de com es comparen els models actuals entre si, consulteu les proves completes de comparació de models de MachineTranslation.com.

Preguntes freqüents