Ista umetna inteligenca, drugačen model – in prevodi ne bi mogli biti bolj drugačni

Opravljam notranje teste nečesa, o čemer v prevajalski industriji ne govorimo dovolj : ne o tem, ali se različni AI sistemi prevajajo različno, ampak ali se različne različice istega AIja prevajajo različno – in za koliko.

Prejšnji teden sem skozi pet različic ChatGPTja sočasno na notranji testni platformi MachineTranslation.com preizkusil en sam španski idiom. Kar se je vrnilo, me je ustavilo.

Dve različici sta ustvarili prevod, ki je v resnici nesmisel v angleščini. Tri različice so proizvedle pravilne idiomatske prevode. In tri pravilni se niso strinjali med seboj.

Vseh pet je ChatGPT. Vseh pet je OpenAI. Ista umetna inteligenca, drugačen model — in rezultati ne bi mogli biti bolj drugačni.

To delim zdaj, ker mislim, da je pomembno, ne zato, ker imam jasne odgovore. Ne. Toda opazovanje je dovolj zanimivo, da ga damo v svet.

Kazalo

• Test: En španski idiom, pet različic GPT-ja
• Zakaj je ta idiom dober testni primer
• Kaj nam razkol med dobesednim in idiomatskim prevodom pove o tem, kako so bili ti modeli trenirani
• Implikacija, o kateri se očitno nihče ne pogovarja
• Tudi pravilni prevodi se niso strinjali med seboj
• Česar še ne vem
• Dve raziskovalni vprašanji, o katerih se je vredno zamisliti

Test: Ena španska fraza, pet verzij GPT

Preizkušena fraza je bila llevarse el gato al agua.

Tukaj je, kar je vsaka verzija proizvedla:

Fraza pomeni doseči nekaj težkega kljub nasprotovanju, izpeljati težko zmago. Nima nič s tem, mačke ali voda. Doslovni prijevod nije prijevod. Je to beseda za besedo prepis besedne zveze, ki je model ni prepoznal kot frazem.

GPT-4o-MINI in GPT-4.1-NANO sta ustvarila enaka izhoda. Ne enako, identično. Naši prevajalski vpogledi so to neposredno označili: GPT-4.1-nano in GPT-4o-mini delita enake prevode, pri čemer poudarja dobesedni pomen namesto idiomatskega.

GPT-4.1-MINI, GPT-5.4-MINI in GPT-5.4 so ustvarili nekaj prepoznavno pravilnega – vendar ne enakega med seboj.

Zakaj je ta idiom dobra testna situacija

Želim natančno pojasniti, zakaj je llevarse el gato al agua uporaben testni vnos in ne izbran primer.

To je uveljavljen idiom. Pojavlja se v literaturi, novinarstvu in vsakdanjem govoru. Ni nejasno. Vsak model, usposobljen na razumnem korpusu španskega besedila, bi se ga moral srečati. Vprašanje ni, ali je model videl frazo. Vprašanje je, kaj s tem stori.

Najhujši način napake pri prevajanju idiomov ni slab prevod. Ustvarja dobesedni prevod, ki je videti sprejemljiv za nekoga, ki ne pozna ciljnega jezika.

»Nositi mačko k vodi« je slovnično pravilen angleški izraz. Dobro je oblikovano. Zveni kot nekaj, kar bi lahko pomenilo nekaj. Uporabnik, ki ne govori špansko, bi ga lahko prebral, prikimal in šel naprej — nikoli ne bi vedel, da je bil prvotni pomen povsem izgubljen.

To je način napake, ki me skrbi. Ne očitna napaka. Nevidljivi.

Kaj nam razkol med dobesednim in idiomatskim pove o tem, kako so bili ti modeli usposobljeni.

Vzorec tukaj ni naključen. Dva modela, ki sta proizvedla dobesedne prevode (GPT-4o-MINI in GPT-4.1-NANO), sta oba manjša, lažja modela, optimizirana za hitrost in stroškovno učinkovitost. Trije modeli, ki so proizvedli idiomatične prevode (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4), predstavljajo drugačno generacijo ali lestvico parametrov.

To nakazuje nekaj, kar mislim, da ni dovolj raziskano: idiomatična kompetenca pri prevajanju se povečuje s kapaciteto modela na načine, ki niso vidni v splošnih merilih.

Splošna jezikovna merila testirajo sklepanje, znanje, kodiranje, matematiko. Običajno ne testirajo, ali model lahko prepozna, da izraz it's raining cats and dogs ne govori o vremenskih razmerah, ali da se izraz llevarse el gato al agua ne nanaša na hidracijo mačke. Idiomi se nahajajo na presečišču kulturnega znanja, kontekstualnega sklepanja in prepoznavanja vzorcev — in to presečišče očitno zahteva določen prag zmogljivosti modela, ki ga manjši modeli ne dosegajo dosledno.

Česar pa ne trdim: da so večji modeli vedno boljši prevajalci. Nimam dokazov za to kot splošno pravilo. Kar opazujem: da je bil pri idiomatskih vsebinah specifično, vrzel med družinskimi različicami večja, kot sem pričakoval.

Posledica, o kateri se zdi, da nihče ne govori

Večina uporabnikov, ki uporabljajo orodje za umetni prevod, ne ve, katero različico umetne inteligence uporabljajo. Odprejo izdelek, izberejo jezikovni par in dobijo izhod. Usmerjanje modela jim je nevidno.

To je pomembno v velikem obsegu. MachineTranslation.com je v enem 90-dnevnem obdobju obdelal več sto tisoč prevajalskih nalog iz angleščine v španščino. Če bi pomemben del teh delovnih mest vključeval idiotično vsebino (marketinška besedila, pravni jezik, literarna besedila, vsakdanja komunikacija) in bi orodje, ki je usmerjalo ta dela, brez njihove vednosti usmerjalo uporabnike k manjšemu modelu, potem bi se nositi mačko v vodo pojavljalo v resničnih izpisih, v resničnih dokumentih, za resnične ljudi, ki so zaupali rezultatu.

Industrija prevajanja je leta primerjala ponudnike umetne inteligence. DeepL proti Googlu. Claude proti ChatGPT. Ta primerjava je uporabna. Toda znotraj enega ponudnika je lahko razlika v različicah enako pomembna – in to je vrzel, ki je večina primerjalnih okvirjev ne meri, ker ne testirajo na ravni modela in različice.

Ko nekdo reče Za prevajanje uporabljam ChatGPT, ta stavek ni dovolj specifičen, da bi bil smiseln. Kateri ChatGPT? Nano? 4o-mini? ‎4.1-mini? 5.4? Odgovor spremeni izhod na nepomembne načine , vsaj za idiomatsko vsebino.

Tudi pravilni prevodi so se med seboj razlikovali

To je del, ki se mi zdi najbolj zanimiv, in še nisem povsem razvozlal, kaj naj si mislim o tem.

Trije modeli, ki so dali idiomatske prevode, so dali tri različne prevode:

• GPT-4.1-MINI: to pull it off successfully
• GPT-5.4-MINI: to get one's way
• GPT-5.4: to come out on top

Vsi trije so obrambljivi angleški prikazi llevarse el gato al agua‎. Toda nista enakovredna.

Uspelo ti je poudarja izvedbo proti težavnosti, nekaj težkega si naredil in uspelo ti je. Presaditi svoje poudarja doseganje želenega rezultata, z manj poudarka na težavah. Zmagati poudarja tekmovalno zmago, zmago v primerjavi z drugimi.

Prvotni španski idiom je najbližji prvemu od teh. Izraz nosi konotacijo premagovanja odpora, ne preprosto izbire enega izida in njegove uresničitve. Toda doseči svoje in priti na vrh nista napačna, le v različnih smereh sta neprecizna.

To postavlja vprašanje, ki se mi zdi resnično težko: ko trije modeli ustvarijo pravilen, a različen idiotičen prevod, kako oceniš, kateri je najboljši? BLEU skóre sa porovnávajú s jednou referenčnou prekladovou verziou – ale kto napísal referenčnú verziu a ktorú z týchto troch by si vybral?

Náš agent AI prekladov sa, na jeho počesť, spýtal správnu otázku predtým, ako sa zaviazal k akémukoľvek výstupu: Kakšen je nameravan pomen 'llevarse el gato al agua' v tem kontekstu? Ponujene so bile tri možnosti – doseči težak cilj, vzeti nekaj nepotrebnega ali se lotiti tvegane dejavnosti. To vprašanje ni dekorativno. To je mehanizem, s katerim se kontekstualna nejasnost reši pred dokončno

prevajalsko obdelavo. Toda bistvo ostaja: trije pravilni odgovori, trije različni odtenki pomena. Orodja za ocenjevanje prevodov niso narejena za takšne nianse.

Česar še ne vem

Želim biti pošten glede omejitev tega, kar ta test pokaže.

En idiom, en jezikovni par, en dan internega testiranja. To ni študija. To je opazovanje. Ne vem, ali ta vzorec (manjši modeli privzeto dobesedno, večji modeli idiomično) velja dosledno za:

• Druge španske fraze
• Drugi pari jezikov z bogatimi idiomičnimi tradicijami (na pamet mi padejo arabščina, japonščina, ruščina)
• Neidiomatska vsebina, kjer razlika ne velja
• Robni primeri, kjer manjši model ujame idiom, večji pa ga zgreši

Prav tako ne vem, ali je to stabilna lastnost teh modelov ali nekaj, kar se spreminja s posodobitvami in izpopolnjevanjem. Ponudniki modelov ne objavljajo dnevnikov sprememb, specifičnih za prevajanje. Model, ki danes pravilno obravnava llevarse el gato al agua, je lahko naslednji mesec posodobljen, in ne bi vedeli.

Vem pa to: ta test je prinesel rezultat, ki je dovolj zanimiv, da želim izvesti več takšnih testov, bolj sistematično, na več jezikovnih parih in vrstah vsebin. Ko bom imel več za deliti, bom.

Dve raziskovalni vprašanji, s katerima se je vredno poglobiti

Zaključil bom z dvema vprašanjema, ki sta mi ostali po tem testu. Ne bom jim odgovoril, še nimam podatkov za to. Toda mislim, da so to prava vprašanja za zastaviti.

Prvič: pri kakšnem pragu parametrov postane idiomatna kompetenca zanesljiva?

Skok iz GPT-4o-MINI in GPT-4.1-NANO (oba dobesedna) na GPT-4.1-MINI (idiomatski) nakazuje, da obstaja prag nekje v območju parametrov med temi velikostmi modelov, kjer se prepoznavanje idiomov vklopi. Je dosledno? Ali se to nanaša na idiome v vseh jezikih ali je odvisno od tega, kako dobro je jezik zastopan v podatkih za usposabljanje? Ne vem. Toda poznavanje bi bilo koristno za vsakogar, ki gradi prevajalske delovne tokove.

Drugič: koliko stane neprozornost različic modelov uporabnikom v velikem obsegu?

Če uporabnik mesečno skozi orodje, ki ne razkriva, katera različica modela se uporablja (in nekateri od teh dokumentov vsebujejo idiomatično vsebino), usmeri 1.000 dokumentov, kako pogosto se zgodi dobesedna napaka nevidno? Kako bi sploh vedeli? Kakšna je cena, v resničnem smislu, če nikoli ne izvemo?

Mislim, da je to pomembnejše vprašanje kot večina primerjav kateri AI je najboljši za prevajanje, ki trenutno krožijo. Odgovor ni uporabi največji model. Odgovor je lahko: vedeti, kaj uporabljaš, izvajaj svoje teste na svoji vsebini in ne domnevaj, da je ime enega ponudnika jamstvo doslednega vedenja v njegovem obsegu modelov .

To je vsaj tisto, kar sem si ustvaril iz tega testa.

Raziskovalna vprašanja

1. Ali velikost modela zanesljivo napoveduje kakovost idiomatičnega prevoda?

Na podlagi tega enega testa: manjši, na učinkovitost optimizirani modeli znotraj iste družine umetne inteligence so privzeto dobesedno prevajali uveljavljen španski idiom, medtem ko so večje/novejše različice istega modela ustvarile pravilne idiomatične prikaze. Ali to velja za kategorije idiomov in jezikovne pare, je naslednje vprašanje. Opravil bom več testov.

2. Zakaj so trije pravilni idiomatski prevodi dali tri pomenljivo različne rezultate?

GPT-4.1-MINI, GPT-5.4-MINI in GPT-5.4 so idiomatsko prevedli llevarse el gato al agua — vendar v različne angleške izraze s subtilno različnimi konotacijami. To nakazuje , da ima kakovost idiomatičnega prevajanja vsaj dve razsežnosti: ali model sploh prepozna idiom in kateri ustrezen izraz izbere iz razpoložljivih možnosti ciljnega jezika. Standardne metrike kakovosti prevajanja teh dveh razsežnosti ne ločujejo čisto. Mislim, da bi morali.

Ta objava temelji na internem testiranju na razvojni platformi MachineTranslation.com. Večmodelno testiranje različic, prikazano tukaj, še ni javno dostopno. Delim to odkritje, ker menim, da je opazovanje koristno ne glede na to, kje izvajate prevode.