Samme AI, annen modell — og oversettelsene kunne ikke vært mer forskjellige

Jeg har kjørt interne tester på noe vi ikke snakker nok om i oversettelsesbransjen: ikke hvorvidt forskjellige AI-systemer oversetter annerledes, men hvorvidt forskjellige versjoner av samme AI oversetter annerledes – og hvor mye.

Forrige uke kjørte jeg et enkelt spansk idiom gjennom fem versjoner av ChatGPT samtidig på MachineTranslation.coms interne testplattform. Det som kom tilbake stoppet meg.

To versjoner ga en oversettelse som, ærlig talt, er meningsløs på engelsk. Tre versjoner produserte korrekte idiomatiske oversettelser. Og de tre riktige var ikke enige med hverandre.

Alle fem er ChatGPT. Alle fem er OpenAI. Samme KI, annen modell — og resultatene kunne ikke vært mer forskjellige.

Jeg deler dette nå fordi jeg tror det betyr noe, ikke fordi jeg har rene svar. Det gjør jeg ikke. Men observasjonen er interessant nok til å sette ut i verden.

Innholdsfortegnelse

• Testen: Ett spansk idiom, fem GPT-versjoner
• Hvorfor dette idiomet er et godt testtilfelle
• Hva den bokstavelige-til-idiomatiske delingen forteller oss om hvordan disse modellene ble trent
• Implikasjonen som ingen ser ut til å snakke om
• Selv de "riktige" oversettelsene var uenige med hverandre
• Hva jeg ikke vet ennå
• To forskningsspørsmål verdt å sitte med

Testen: Ett spansk idiom, fem GPT-versjoner

Frasen jeg testet var llevarse el gato al agua.

Her er hva hver versjon produserte:

Frasen betyr å oppnå noe vanskelig mot alle odds, å vinne en hard seier. Det har ingenting med katter eller vann å gjøre. Den bokstavelige oversettelsen er ikke en oversettelse. Det er en ord-for-ord transkripsjon av en frase modellen ikke klarte å gjenkjenne som et idiom.

GPT-4o-MINI og GPT-4.1-NANO produserte identiske utdata. Ikke lik, identisk. Våre oversettelsesinnsikter flagget dette direkte: GPT-4.1-nano og GPT-4o-mini deler identiske oversettelser, og legger vekt på bokstavelig tolkning fremfor idiomatisk betydning.

GPT-4.1-MINI, GPT-5.4-MINI og GPT-5.4 produserte hver for seg noe gjenkjennelig korrekt – men ikke det samme som hverandre.

Hvorfor dette idiomet er en god testcase

Jeg ønsker å være presis om hvorfor llevarse el gato al agua er en nyttig testinput snarere enn en tilfeldig valgt en.

Det er et veletablert idiomatisk uttrykk. Det forekommer i litteratur, journalistikk, og dagligtale. Det er ikke obskurt. Enhver modell trent på et rimelig korpus av spansk tekst burde ha støtt på det. Spørsmålet er ikke om modellen har sett frasen. Spørsmålet er hva den gjør med det.

Den verste feilmodusen i idiomatisk oversettelse er ikke å produsere en dårlig oversettelse. Det produserer en bokstavelig oversettelse som ser akseptabel ut for noen som ikke kjenner målspråket.

To carry the cat to the water er grammatisk korrekt engelsk. Det er velformet. Det høres ut som noe som kan bety noe. En bruker som ikke snakker spansk, kan lese det, nikke og gå videre — uten noensinne å vite at den opprinnelige meningen gikk tapt fullstendig.

Det er feilmodusen jeg bryr meg om. Ikke den åpenbare feilen. Den usynlige.

Hva den bokstavelige-til-idiomatiske delingen forteller oss om hvordan disse modellene ble trent

Mønsteret her er ikke tilfeldig. De to modellene som produserte bokstavelige oversettelser (GPT-4o-MINI og GPT-4.1-NANO) er begge mindre, lettere modeller optimalisert for hastighet og kostnadseffektivitet. De tre modellene som produserte idiomatiske oversettelser (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) representerer en annen generasjon eller parameterskala.

Dette antyder noe som jeg tror er underutforsket: idiomatisk kompetanse i oversettelse skalerer med modellkapasitet på måter som ikke er synlige i generelle referansepunkter.

Generelle språkreferansepunkter tester resonnement, kunnskap, koding, matematikk. De tester vanligvis ikke om en modell kan identifisere at det regner katter og hunder ikke handler om værforhold, eller at llevarse el gato al agua ikke handler om å hydrere en katt. Idiomer sitter i skjæringspunktet mellom kulturell kunnskap, kontekstuell inferens og mønstergjenkjenning — og det skjæringspunktet ser ut til å kreve en terskel for modellkapasitet som mindre modeller ikke konsekvent klarer.

Hva jeg ikke hevder: at større modeller alltid er bedre oversettere. Jeg har ikke bevis for det som en generell regel. Det jeg observerer er: at for idiomatisk innhold spesifikt, var gapet mellom versjoner innenfor familien større enn jeg forventet.

Implikasjonen som ingen ser ut til å snakke om

De fleste brukere som bruker et AI-oversettelsesverktøy vet ikke hvilken versjon av den AI-en de bruker. De åpner et produkt, velger et språkpar og får en utdata. Rutingen av modellen er usynlig for dem.

Dette betyr noe i stor skala. MachineTranslation.com behandlet over hundretusener av engelsk-til-spansk oversettelsesjobber i en enkelt 90-dagers periode. Hvis en betydelig del av disse jobbene berørte idiomatisk innhold (markedsføringstekster, juridisk språk, litterær tekst, uformell kommunikasjon) og verktøyet som ruter disse jobbene, ledet brukere til en mindre modell uten deres viten, da dukket å bære katten til vannet opp i reelle utdata, i reelle dokumenter, for reelle mennesker som stolte på resultatet. Oversettelsesindustrien har brukt år på å sammenligne AI-leverandører. DeepL versus Google.‎

Claude mot ChatGPT. Disse sammenligningene er nyttige. Men innenfor en enkelt leverandør kan versjonsgapet være like betydelig – og det er et gap som de fleste sammenligningsrammeverk ikke måler fordi de ikke tester på modellversjonsnivå.

Når noen sier «Jeg bruker ChatGPT til oversettelse», er den setningen ikke spesifikk nok til å være meningsfull. Hvilken ChatGPT? Nano? 4o-mini? ‎4.1-mini? 5.4? Svaret endrer resultatet på måter som er ikke-trivielle, i hvert fall for idiomatisk innhold.

Selv de «riktige» oversettelsene var uenige med hverandre

Dette er den delen jeg finner mest interessant, og jeg har ikke helt funnet ut av hva jeg skal mene om den ennå.

De tre modellene som produserte idiomatiske oversettelser ga tre forskjellige:

• GPT-4.1-MINI: «to pull it off successfully»
• GPT-5.4-MINI: «to get one's way»
• GPT-5.4: «to come out on top»

Alle tre er forsvarlige engelske gjengivelser av llevarse el gato al agua‎. Men de er ikke ekvivalente.

Å få det til legger vekt på utførelse mot vanskeligheter, du gjorde noe vanskelig og det fungerte. Å få viljen sinlegger vekt på resultatet du ønsket å oppnå, med mindre vekt på vanskelighetene. Å komme seirende ut legger vekt på konkurransemessig seier, å vinne i forhold til andre.

Det opprinnelige spanske uttrykket ligger nærmest det første av disse. Uttrykket innebærer konnotasjonen av å overvinne motstand, ikke bare å foretrekke et utfall og få det til å materialisere seg. Men «å få viljen sin» og «å gå seirende ut» er ikke feil, de er bare upresise i ulike retninger. Dette reiser et spørsmål jeg finner genuint vanskelig: når tre modeller

hver produserer en korrekt, men distinkt idiomatisk oversettelse, hvordan vurderer du hvilken som er best? BLEU-skårer sammenlignes med en referanseoversettelse – men hvem skrev referansen, og hvilken av disse tre ville de ha valgt?

Vår AI-oversettelsesagent stilte, til dens ære, det rette spørsmålet før den forpliktet seg til noe resultat: Hva er den tiltenkte betydningen av 'llevarse el gato al agua' i denne sammenhengen?‎ Tre alternativer ble tilbudt – å oppnå et vanskelig mål, å ta noe unødvendig, eller å engasjere seg i en risikabel aktivitet. Det spørsmålet er ikke dekorativt. Det er mekanismen som den kontekstuelle tvetydigheten blir løst før oversettelsen er ferdigstilt.

Men poenget står: tre riktige svar, tre forskjellige nyanser av mening. Oversettelsesverktøy er ikke bygget for denne typen nyanser.

Det jeg ikke vet ennå

Jeg vil være ærlig om begrensningene til det denne testen viser.

Ett idiom, ett språkpar, én dag med intern testing. Det er ikke en studie. Det er en observasjon. Jeg vet ikke om dette mønsteret (mindre modeller som standard bruker bokstavelig oversettelse, større modeller som oppnår idiomatisk oversettelse) holder konsekvent på tvers av:

• Andre spanske idiomer
• Andre språkpar med rike idiomatiske tradisjoner (Arabisk, japansk, russisk dukker alle opp i tankene)
• Ikke-idiomatisk innhold der skillet ikke gjelder
• Grensetilfeller der en mindre modell får idiomet riktig og en større går glipp av det

Jeg vet heller ikke om dette er en stabil egenskap ved disse modellene eller noe som endrer seg med oppdateringer og finjustering. Modellleverandører publiserer ikke oversettelsesspesifikke endringslogger. En modellversjon som håndterer llevarse el gato al agua korrekt i dag, kan bli oppdatert neste måned, og vi ville ikke ha noen måte å vite det på.

Det jeg vet: denne testen ga et resultat som var interessant nok til at jeg ønsker å kjøre flere av dem, mer systematisk, på tvers av flere språkpar og innholdstyper. Når jeg har mer å dele, vil jeg det.

To forskningsspørsmål verdt å dvele ved

Jeg avslutter med de to spørsmålene denne testen etterlot meg med. Jeg kommer ikke til å svare dem, jeg har ikke dataene til det ennå. Men jeg tror de er de riktige spørsmålene å stille.

Først: ved hvilken parameterterskel blir idiomatisk kompetanse pålitelig?

Hoppet fra GPT-4o-MINI og GPT-4.1-NANO (begge bokstavelige) til GPT-4.1-MINI (idiomatisk) antyder at det er en terskel et sted i parameterområdet mellom disse modellstørrelsene der idiom gjenkjenning slås på. Er det konsekvent? Gjelder det for idiomer på tvers av alle språk, eller avhenger det av hvor godt representert et språk er i treningsdataene? Jeg vet ikke. Men å vite ville være nyttig for alle som bygger oversettelses-arbeidsflyter.

For det andre: hva koster modellversjons-uklarhet brukere i stor skala?

Hvis en bruker ruter 1000 dokumenter per måned gjennom et verktøy som ikke oppgir hvilken modellversjon som brukes (og noen av disse dokumentene inneholder idiomatisk innhold), hvor ofte skjer den bokstavelige feilen usynlig? Hvordan ville de vite det? Hva er kostnaden, i reelle termer, ved aldri å få vite det?

Jeg tror dette er et viktigere spørsmål enn de fleste av sammenligningene av «hvilken AI er best for oversettelse» som for tiden sirkulerer. Svaret er ikke «bruk den største modellen». Svaret kan være: vit hva du bruker, kjør dine egne tester på ditt eget innhold, og ikke anta at én leverandørs navn er en garanti for konsekvent oppførsel på tvers av deres modell utvalg.

Det er i det minste det jeg tar med meg fra denne testen.

Forskningsspørsmål

1. Forutsier modellstørrelse pålitelig kvaliteten på idiomatiske oversettelser?

Basert på denne ene testen: mindre, effektivitetsoptimaliserte modeller innenfor samme AI-familie standardiserte til bokstavelig oversettelse av et etablert spansk idiom, mens større/nyere versjoner av samme modell produserte korrekte idiomatiske gjengivelser. Om dette gjelder på tvers av idiomkategorier og språkpar er det neste spørsmålet. Jeg skal kjøre flere tester.

2. Hvorfor ga tre korrekte idiomatiske oversettelser tre meningsmessig forskjellige resultater?

GPT-4.1-MINI, GPT-5.4-MINI og GPT-5.4 oversatte alle llevarse el gato al agua idiomatisk – men til forskjellige engelske uttrykk med subtilt forskjellige konnotasjoner. Dette antyder at kvaliteten på idiomatisk oversettelse har minst to dimensjoner: om modellen gjenkjenner idiomet i det hele tatt, og hvilket ekvivalent uttrykk den velger fra målspråkets tilgjengelige alternativer. Standard oversettelseskvalitetsmålinger skiller ikke rent disse to dimensjonene. Jeg tror de burde det.

Dette innlegget er basert på intern testing på MachineTranslation.coms utviklingsplattform. Fler-modellversjonstesting som vises her, er ennå ikke offentlig tilgjengelig. Jeg deler funnet fordi jeg tror observasjonen er nyttig uavhengig av hvor du kjører oversettelsene dine.