Qwen vs ChatGPT: Hvilken AI-model oversætter bedst?

ChatGPTs nuværende generation og Qwen er begge en del af den pulje af modeller, som MachineTranslation.com kører ved hver oversættelse, og ikke to eksterne udfordrere, der bedømmes i forhold til selve platformen. Kører man den samme tekst igennem begge på identiske segmenter, vinder ChatGPT den største andel af sprogparrene samlet set. Opdeler man resultaterne efter retning, indsnævres billedet markant på ét specifikt område: oversættelse til engelsk, hvor de to står næsten lige.

Er der nogen AI, der er bedre end ChatGPT til oversættelse?

Den generelle interesse for alternativer til ChatGPT er vokset i takt med, at konkurrerende modeller er blevet forbedret, selvom årsagerne varierer meget alt efter brugssituation, og der ikke findes én enkelt forklaring. Hvad angår oversættelse specifikt, er det mere relevante spørgsmål, hvilken model der reelt klarer sig bedst på et givent sprogpar – et testbart spørgsmål snarere end en smagssag.

I løbet af MachineTranslation.com's seneste 28 dages trafik har begge modeller oversat identisk kildetekst på tværs af 98 sprogpar. ChatGPT scorede højest i 77 af disse par; Qwen scorede højest i 21. Det vægtede gennemsnit på tværs af matchende output placerer ChatGPT på 9.10 ud af 10 og Qwen på 8.98 – en reel, men beskeden forskel i gennemsnit, som skjuler en langt tydeligere opdeling, når retningen tages i betragtning.

Hvorfor forsvinder forskellen næsten ved oversættelse til engelsk?

Dataene viser, hvor opsplitningen sker, ikke hvorfor. Hvad der står klart, er, at Qwens konkurrenceevne ikke er jævnt fordelt. Ud af 27 par, hvor målsproget er engelsk, vinder Qwen 13, hvilket i bund og grund svarer til at slå plat eller krone. Ud af de resterende 71 par – både ved oversættelse fra engelsk og mellem to ikke-engelske sprog – vinder ChatGPT 63, eller 89 % af dem. Et team, der antager, at Qwens præstation ved oversættelse til engelsk kan overføres til udgående oversættelser eller par mellem to ikke-engelske sprog, ville drage den forkerte lære af den forkerte retning.

Er Qwen en kinesisk virksomhed, og har det betydning for oversættelse?

Qwen er udviklet af Alibaba Cloud, som er baseret i Kina. I sig selv ændrer det ikke på, hvor godt modellen oversætter en given sætning; dataene ovenfor afspejler den faktiske outputkvalitet, uanset hvor en model er bygget. Hvor det kan have en betydning, er i forhold til datahåndtering: Virksomheder, der oversætter reguleret eller følsomt indhold (kontrakter, patientjournaler, personoplysninger), bør behandle spørgsmålet om, hvor en AI-udbyder behandler og opbevarer dette indhold, som et reelt due diligence-punkt, adskilt fra selve oversættelseskvaliteten. Det gælder for enhver AI-udbyder, ikke kun Qwen specifikt, og det er en del af grunden til, at MachineTranslation.com offentliggør sine egne datahåndterings- og sikkerhedspraksisser direkte frem for at lade spørgsmålet stå ubesvaret hen.

Er en af modellerne mere pålidelig til juridisk og forretningsmæssig oversættelse?

Ikke konsekvent, og forskellen handler ikke altid om, hvilken model der opnår den højeste score. MachineTranslation.coms test på tværs af reel kontrakttekst fandt to separate tilfælde, der er værd at kende til, før man stoler på en af modellerne til juridisk tekst. Idiomatisk sprog går til tider den modsatte vej: En separat direkte sammenligningstest viste, at ChatGPT oversatte et tysk idiom bogstaveligt og forkert, mens Qwen fandt den korrekte idiomatiske betydning – en påmindelse om, at ingen af modellernes samlede føring i de aggregerede data holder stik sætning for sætning.

Ingen af modellerne vinder konsekvent på tværs af disse tre tilfælde: En enkelt models samlede score forudsiger ikke dens adfærd ved et specifikt udtryk eller en bestemt frase. Det er også grunden til, at juridisk og kontraktlig tekst har gavn af et menneskeligt verifikationstrin, uanset hvilken model der udarbejdede det første udkast.

Hvad med sprogdækning?

Hverken ChatGPT eller Qwen offentliggør en verificeret, uafhængigt bekræftet liste over sprogpar, hvor oversættelseskvaliteten falder. Begge er universelle modeller med bred flersproget træning, hvilket er noget andet end målt oversættelsesydelse på tværs af et specifikt sæt sprog. MachineTranslation.com tester og bedømmer oversættelseskvalitet på tværs af mere end 330 sprog direkte, i stedet for at forlade sig på en models generelle sprogfærdigheder som en erstatning for, hvor godt den rent faktisk oversætter.

Hvad bør du ikke indsætte i ChatGPT eller Qwen til erhvervsoversættelse?

Hverken ChatGPT eller Qwen er bygget som en dedikeret oversættelsesplatform, og at indsætte følsomt forretningsindhold direkte i en generel chatgrænseflade medfører de samme databehandlingsspørgsmål som at indsætte det i ethvert andet AI-værktøj til forbrugere: hvor inputtet behandles, om det gemmes, og hvem der har adgang til det. Kontrakter, patientjournaler, immigrationsdokumenter og regnskaber er præcis den type indhold, hvor det spørgsmål er værd at besvare før oversættelsen, ikke efter. Dette er en reel grund til, at en dedikeret oversættelsesplatform med offentliggjort, verificerbar datapraksis er en helt anden sag end en generel chatgrænseflade, uanset hvilken model der ligger bag.

Hvordan MachineTranslation.com rent faktisk bruger begge modeller

MachineTranslation.com kører ChatGPT, Qwen og mere end 20 andre AI-modeller på hver oversættelse og fremhæver derefter den version, som disse modeller er mest enige om. I betragtning af hvor markant Qwens og ChatGPTs ydeevne varierer efter sprogretning, ville valget af én fast standardmodel betyde, at man gættede forkert på en forudsigelig andel af sprogparrene. Det samme retningsafhængige mønster ses i MachineTranslation.coms sammenligning mellem Qwen og DeepSeek. For at få det fulde overblik over, hvordan aktuelle modeller testes mod hinanden, kan du se MachineTranslation.coms fulde modelsammenligningstest.

Ofte stillede spørgsmål