Ista AI, drugačiji model — a prijevodi ne mogu biti drugačiji

Provodim interne testove nečega o čemu ne govorimo dovoljno u prevodilačkoj industriji: ne da li različiti AI sistemi prevode različito, već da li različite verzije istog AI prevode različito — i za koliko.

Prošle sedmice sam kroz pet verzija ChatGPT-a istovremeno na internetskoj platformi za testiranje MachineTranslation.com provukao jedan španski idiom. Ono što se vratilo me je zaustavilo.

Dvije verzije su proizvele prijevod koji je, iskreno, besmislen na engleskom. Tri verzije proizvele su ispravne, idiomatske prijevode. A tri ispravna se nisu slagala jedno s drugim.

Svi pet su ChatGPT. Svi pet su OpenAI. Isti AI, drugačiji model — a ispisi ne mogu biti različitiji.

Dijelim ovo sada jer mislim da je važno, ne zato što imam jasne odgovore. Nemam. Ali je opservacija dovoljno zanimljiva da se iznese u javnost.

Sadržaj

• Test: Jedan španski idiom, pet GPT verzija
• Zašto ovaj idiom čini dobar testni slučaj
• Šta nam podjela od doslovnog do idiomatskog govori o tome kako su ovi modeli trenirani
• Implikacija o kojoj niko ne govori
• Čak se ni ispravni prijevodi nisu slagali
• Šta još ne znam
• Dva istraživačka pitanja vrijedna razmišljanja

Test: Jedan španski idiom, pet GPT verzija

Fraza koju sam testirao je llevarse el gato al agua.

Evo šta je svaka verzija proizvela:

Fraza znači postići nešto teško uprkos izgledima, ostvariti tešku pobjedu. Nema to nikakve veze sa mačkama ili vodom. Doslovni prijevod nije prijevod. To je doslovni prijepis fraze koju model nije uspio prepoznati kao idiom.

GPT-4o-MINI i GPT-4.1-NANO proizveli su identične izlaze. Ne slično, identično. Naši uvidi za prevođenje su ovo direktno označili: GPT-4.1-nano i GPT-4o-mini dijele identične prijevode, naglašavajući doslovno tumačenje nad idiomatskim značenjem.

GPT-4.1-MINI, GPT-5.4-MINI i GPT-5.4 su proizveli nešto prepoznatljivo ispravno — ali ne isto kao jedno drugo.

Zašto ovaj idiom čini dobar testni slučaj

Želim precizirati zašto je llevarse el gato al agua koristan testni unos, a ne odabrani.

To je dobro uspostavljen idiom. Pojavljuje se u književnosti, novinarstvu i svakodnevnom govoru. Nije nejasno. Svaki model obučen na razumnom korpusu španskog teksta bi ga trebao susresti. Pitanje nije da li je model vidio frazu. Pitanje je šta s tim radi.

Najgori način neuspjeha u prijevodu idioma nije loš prijevod. Proizvodi doslovni prijevod koji izgleda prihvatljivo nekome ko ne poznaje ciljni jezik.

Nosi mačku na vodu je gramatički ispravan engleski jezik. Dobro je formiran. Zvuči kao nešto što bi moglo nešto značiti. Korisnik koji ne govori španski bi to mogao pročitati, kimnuti glavom i nastaviti dalje — nikada ne znajući da je originalno značenje potpuno izgubljeno.

To je način kvara koji me brine. Nije očigledna greška. Nevidljivi jedan.

Šta nam podjela na doslovno-idiomatsko govori o tome kako su ovi modeli trenirani

Obrazac ovdje nije slučajan. Dva modela koja su proizvela doslovne prijevode (GPT-4o-MINI i GPT-4.1-NANO) oba su manja, lakša modela optimizirana za brzinu i isplativost. Tri modela koja su proizvela idiomatske prijevode (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) predstavljaju drugačiju generaciju ili skalu parametara.

Ovo sugerira nešto što mislim da je nedovoljno istraženo: idiomatska kompetencija u prevođenju skalira sa kapacitetom modela na načine koji nisu vidljivi u općim mjerilima.

Opća jezična mjerila testiraju rasuđivanje, znanje, kodiranje, matematiku. Oni obično ne testiraju da li model može identificirati da pada kiša kao iz kabla nije o vremenskim prilikama, ili da llevarse el gato al agua nije o hidriranju mačke. Idiomi se nalaze na raskrsnici kulturnog znanja, kontekstualnog zaključivanja i prepoznavanja obrazaca — i čini se da ta raskrsnica zahtijeva prag kapaciteta modela koji manji modeli ne dosljedno dostižu.

Ono što ne tvrdim: da su veći modeli uvijek bolji prevodioci. Nemam dokaza za to kao opšte pravilo. Ono što ja primjećujem: da je za idiomatski sadržaj specifično, jaz između verzija unutar porodice bio veći nego što sam očekivao.

Implikacija da niko ne govori o tome

Većina korisnika koji koriste alat za AI prevodjenje ne znaju koju verziju tog AI-a koriste. Otvaraju proizvod, biraju jezični par i dobivaju izlaz. Маршрутизација модела им је невидљива.

Ово је важно у великим размерама. MachineTranslation.com je obradio preko stotina hiljada poslova prevođenja sa engleskog na španski u jednom periodu od 90 dana. Ako je značajan dio tih poslova dotakao idiomatski sadržaj (marketinški tekstovi, pravni jezik, književni tekst, neformalna komunikacija) i alat je usmjeravao te poslove ka manjem modelu bez njihovog znanja, onda se nositi mačku u vodu pojavljivalo u stvarnim izlazima, u stvarnim dokumentima, za stvarne ljude koji su vjerovali rezultatu.

Industrija prevođenja godinama upoređuje AI provajdere. DeepL naspram Googlea. Claude protiv ChatGPT-a. Ta poređenja su korisna. Ali unutar jednog provajdera, jaz verzija može biti jednako značajan — i to je jaz koji većina okvira za poređenje ne mjeri jer ne testiraju na nivou verzije modela. Kada neko kaže Koristim ChatGPT za prevođenje, ta rečenica nije

dovoljno precizna da bi bila smislena. Koji ChatGPT? Nano? 4o-mini? ‎4.1-mini? 5.4? Odgovor mijenja izlaz na načine koji nisu trivijalni, barem za idiomatski sadržaj.

Čak su se i ispravni prijevodi međusobno razlikovali

Ovo je dio koji mi je najzanimljiviji, i još nisam u potpunosti shvatio šta da radim s tim.

Tri modela koja su proizvela idiomatske prijevode dala su tri različita:

• GPT-4.1-MINI: to pull it off successfully
• GPT-5.4-MINI: to get one's way
• GPT-5.4: to come out on top

Sva tri su prihvatljivi engleski prikazi llevarse el gato al agua‎. Ali oni nisu ekvivalentni.

Da to izvedeš naglašava izvršenje naspram poteškoće, ti si uradio nešto teško i uspjelo je. Da se postigne svoje naglašava postizanje željenog ishoda, s manjim naglaskom na poteškoće. ‎ Izaći na vrh naglašava konkurentsku pobjedu, pobjeđivanje u odnosu na druge.

Originalni španski idiom najbliži je prvom od ovih. Izraz nosi konotaciju prevladavanja otpora, a ne jednostavnog preferiranja jednog ishoda i njegovog ostvarenja. Ali da dobije svoje i da izađe na vrh nisu pogrešni, samo su neprecizni u različitim smjerovima.

Ovo postavlja pitanje koje mi je zaista teško: kada tri modela proizvedu ispravan, ali različit idiomatski prijevod, kako procijeniti koji je najbolji? BLEU rezultati se upoređuju sa referentnim prevodom — ali ko je napisao referencu i koji bi od ova tri izabrao?

Naš AI prevodilački agent, na svoju sreću, postavio je pravo pitanje prije nego što se obavezao na bilo kakav izlaz: Što znači 'llevarse el gato al agua' u ovom kontekstu? Ponudene su tri opcije — postići težak cilj, uzeti nešto nepotrebno ili se upustiti u rizičnu aktivnost. To pitanje nije dekorativno. Mehanizam je kojim se rješava kontekstualna nejasnoća prije nego što se prijevod finalizira.

Ali poenta ostaje: tri ispravna odgovora, tri različite nijanse značenja. Alati za procjenu prijevoda nisu napravljeni za ovakve nijanse.

Ono što još ne znam

Želim biti iskren u pogledu ograničenja onoga što ovaj test pokazuje.

Jedan idiom, jedan jezični par, jedan dan internog testiranja. To nije studija. To je zapažanje. Ne znam da li ovaj obrazac (manji modeli koji podrazumevano koriste doslovno, veći modeli koji postižu idiomatski) dosledno važi za:

• Druge španske idiome
• Druge jezičke parove sa bogatim idiomatskim tradicijama (Arapski, Japanski, Ruski svi padaju na pamet)
• Ne-idiomatski sadržaj gde razlika ne važi
• Granični slučajevi gde manji model ispravno shvati idiom, a veći ga promaši

Takođe ne znam da li je ovo stabilno svojstvo ovih modela ili nešto što se menja sa ažuriranjima i finim podešavanjem. Provajderi modela ne objavljuju zapisnike promena specifične za prevod. Verzija modela koja danas ispravno obrađuje llevarse el gato al agua može biti ažurirana sledećeg meseca, i mi ne bismo imali načina da znamo.

Ono što znam: ovaj test je proizveo rezultat dovoljno zanimljiv da želim da ih sprovedem više, sistematičnije, na više jezičkih parova i tipova sadržaja. Kad budem imao više toga za podijeliti, podijelit ću.

Dva istraživačka pitanja vrijedna razmišljanja

Završit ću s dva pitanja koja su mi ostala nakon ovog testa. Нећу им одговорити, још немам податке за то. Ali mislim da su to prava pitanja za postaviti.

Prvo: na kojem prag parametara idiomatska kompetencija postaje pouzdana? Skok sa GPT-4o-MINI

i GPT-4.1-NANO (oba doslovna) na GPT-4.1-MINI (idiomatski) sugerira da postoji prag negdje u rasponu parametara između tih veličina modela gdje se prepoznavanje idioma uključuje. Je li dosljedno? Da li se to primjenjuje na idiome u svim jezicima, ili zavisi od toga koliko je jezik dobro zastupljen u podacima za obuku? Ne znam. Ali bi znanje bilo korisno svima koji grade prevodilačke radne procese.

Drugo: koliko košta neprozirnost verzije modela korisnike u velikom obimu?

Ako korisnik mjesečno prosljeđuje 1.000 dokumenata kroz alat koji ne otkriva koja se verzija modela koristi (a neki od tih dokumenata sadrže idiomatski sadržaj), koliko se često doslovni neuspjeh događa nevidljivo? Kako bi oni znali? Koliki je stvarni trošak nikada ne saznati?

Mislim da je to važnije pitanje od većine usporedbi koji je AI najbolji za prevođenje koje trenutno kruže. Odgovor nije koristite najveći model. Odgovor bi mogao biti: znajte šta koristite, uradite vlastite testove na vlastitom sadržaju i nemojte pretpostavljati da je ime jednog provajdera garancija dosljednog ponašanja u cijelom njihovom opsegu modela.

To je, barem, ono što ja izvlačim iz ovog testa.

Istraživačka pitanja

1. Da li veličina modela pouzdano predviđa kvalitetu idiomatskog prijevoda?

Na osnovu ovog pojedinačnog testa: manji, efikasno optimizirani modeli unutar iste AI porodice podrazumevano su doslovno prevodili dobro uspostavljen španski idiom, dok su veće/novije verzije istog modela proizvele ispravne idiomatske prikaze. Da li ovo važi za kategorije idioma i jezičke parove, to je sljedeće pitanje. Pokrenut ću još testova.

2. Zašto su tri ispravna idiomatska prijevoda dala tri smisleno različita rezultata?

GPT-4.1-MINI, GPT-5.4-MINI i GPT-5.4 su idiomatski preveli llevarse el gato al agua — ali u različite engleske izraze sa suptilno različitim konotacijama. Ovo sugerira da kvalitet idiomatskog prijevoda ima najmanje dvije dimenzije: da li model uopće prepoznaje idiom, i koji ekvivalentni izraz odabire iz dostupnih opcija ciljnog jezika. Standardni metriki kvaliteta prijevoda ne jasno razdvajaju ove dvije dimenzije. Mislim da bi trebali.

Ovaj post temelji se na internom testiranju na razvojnoj platformi MachineTranslation.com. Više-modelno testiranje verzija prikazano ovdje još nije javno dostupno. Dijelim ovo saznanje jer smatram da je zapažanje korisno bez obzira na to gdje pokrećete svoje prevode.