Tas pats dirbtinis intelektas, kitas modelis – ir vertimai negalėtų skirtis labiau

Atlieku vidinius testus dėl to, apie ką nepakankamai kalbame vertimo pramonėje: ne dėl to, ar skirtingos dirbtinio intelekto sistemos verčia skirtingai, bet ar skirtingos tos pačios dirbtinio intelekto versijos verčia skirtingai – ir kiek.

Praėjusią savaitę penkioms „ChatGPT“ versijoms vienu metu „MachineTranslation.com“ vidinėje testavimo platformoje pateikiau vieną ispanų idiomą. Tai, kas grįžo, mane sustabdė.

Dvi versijos pateikė vertimą, kuris, tiesą sakant, yra nesąmonė anglų kalba. Trys versijos pateikė teisingus idiominius vertimus. Ir trys teisingi nesutarė tarpusavyje.

Visi penki yra ChatGPT. Visi penki yra OpenAI. Tas pats dirbtinis intelektas, kitas modelis — ir rezultatai negalėtų būti skirtingesni.

}Dalinuosi tuo dabar, nes manau, kad tai svarbu, o ne todėl, kad turiu aiškių atsakymų. Aš ne. Tačiau stebėjimas yra pakankamai įdomus, kad būtų paskelbtas.

Turinys

• Testas: Vienas ispaniškas frazeologizmas, penkios GPT versijos
• Kodėl šis frazeologizmas yra tinkamas testavimo atvejis
• Ką literalus ir idiominis atskyrimas pasako apie tai, kaip šie modeliai buvo apmokyti
• Implikacija, apie kurią, atrodo, niekas nekalba
• Net „teisingi“ vertimai nesutapo vienas su kitu
• Ko aš dar nežinau
• Du tyrimo klausimai, kuriuos verta apsvarstyti

Testas: Vienas ispanų posakis, penkios GPT versijos

Fraze, kurią testavau, buvo llevarse el gato al agua.

Štai ką pagamino kiekviena versija:

Šis posakis reiškia pasiekti ką nors sunkiai, nepaisant kliūčių, iškovoti sunkią pergalę. Tai neturi nieko bendra su katėmis ar vandeniu. Tiesioginis vertimas nėra vertimas. Tai žodis po žodžio frazės transkripcija, kurios modelis nesugebėjo atpažinti kaip idioma.

GPT-4o-MINI ir GPT-4.1-NANO pateikė identiškus rezultatus. N panašus, identiškas. Mūsų vertimo įžvalgos tai tiesiogiai pažymėjo: ‎„GPT-4.1-nano ir GPT-4o-mini dalijasi identiškais vertimais, pabrėždami pažodinį, o ne idiomatinį reikšmės aiškinimą.“

GPT-4.1-MINI, GPT-5.4-MINI ir GPT-5.4 kiekvienas sukūrė ką nors atpažįstamai teisingo – bet ne tokio paties kaip kiti.

Kodėl ši idioma yra geras testavimo atvejis

Noriu tiksliai paaiškinti, kodėl llevarse el gato al agua yra naudingas testavimo įvesties duomenų rinkinys, o ne atsitiktinai pasirinktas.

Tai gerai žinoma idioma. Atsiranda literatūroje, publicistikoje ir kasdienėje kalboje. Nėra paslaptis. Bet koks modelis, apmokytas ant pagrįsto ispanų kalbos teksto rinkinio, turėjo su juo susidurti. Klausimas ne tame, ar modelis matė frazę. Klausimas yra, ką su tuo daro.

Didžiausias idiomų vertimo nesėkmės būdas yra ne prasto vertimo sukūrimas. Tai sukuria tiesioginį vertimą, kuris atrodo priimtinas tiems, kurie nemoka tikslinės kalbos.

Nešti katę prie vandens yra gramatiškai taisyklinga anglų kalba. Tai yra tinkamai suformuluota. Tai skamba kaip kažkas, kas galėtų ką nors reikšti. Ispaniškai nekalbantis vartotojas galėtų tai perskaityti, linktelėti ir eiti toliau — niekada nesužinojęs, kad originali reikšmė buvo visiškai prarasta.

Tai yra nesėkmės režimas, kuris man rūpi. Ne akivaizdi klaida. Nematomasis.

Ką literalumo ir idiomatiškumo atskyrimas mums pasako apie tai, kaip buvo apmokyti šie modeliai

Čia pastebėtas modelis nėra atsitiktinis. Du modeliai, kurie pateikė tiesioginius vertimus (GPT-4o-MINI ir GPT-4.1-NANO), yra mažesni, lengvesni modeliai, optimizuoti greičiui ir ekonomiškumui. Trys idiomatiškus vertimus sukūrę modeliai (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) atstovauja kitą kartą ar parametrų mastą.

Tai rodo, mano manymu, neištyrinėtą dalyką: idiomatinis kompetencija vertime didėja kartu su modelio pajėgumu taip, kad tai nesimato bendruose etalonuose.

Bendrieji kalbos etalonai tikrina samprotavimą, žinias, kodavimą, matematiką. Jie paprastai netikrina, ar modelis gali nustatyti , kad lyja kaip iš kibiro nesusiję su oro sąlygomis, arba kad llevarse el gato al agua nesusiję su katės drėkinimu. Idiomos yra kultūrinių žinių, kontekstinio inferencijos ir modelių atpažinimo sankirtoje – ir ta sankirta, atrodo, reikalauja modelio pajėgumo ribos, kurią mažesni modeliai ne visada pasiekia.

Ko aš nepretenduoju: kad didesni modeliai visada yra geresni vertėjai. Neturiu tam įrodymų kaip bendros taisyklės. Ką aš stebiu: kad būtent idiomatinio turinio atveju, šeimos viduje skirtumas tarp versijų buvo didesnis nei tikėjausi.

Implikacija, apie kurią, atrodo, niekas nekalba

Dauguma vartotojų, naudojančių dirbtinio intelekto vertimo įrankį, nežino, kurią to dirbtinio intelekto versiją jie naudoja. Jie atidaro produktą, pasirenka kalbų porą ir gauna rezultatą. Maršrutizavimas modelyje jiems nematomas.

Tai svarbu dideliu mastu. MachineTranslation.com apdorojo šimtus tūkstančių vertimo darbų iš anglų į ispanų kalbą per vieną 90 dienų laikotarpį. Jei reikšminga dalis tų darbo vietų apėmė idiomatinį turinį (reklaminį tekstą, teisinę kalbą, literatūrinį tekstą, neformalų bendravimą), o įrankis, nukreipiantis tuos darbus, be jų žinios nukreipė vartotojus į mažesnį modelį, tada „nešti katę į vandenį“ pasirodydavo realiose išvestyse, realiose dokumentuose, realiems žmonėms, kurie pasitikėjo rezultatu.

Vertimų pramonė daugelį metų lygino dirbtinio intelekto paslaugų teikėjus. DeepL prieš Google. Klaidas prieš „ChatGPT“. Tie palyginimai yra naudingi. Tačiau vieno teikėjo viduje versijų skirtumas gali būti toks pat reikšmingas – ir tai yra skirtumas, kurio dauguma palyginimo sistemų nematuoja, nes jos netestuoja modelio versijos lygiu.

Kai kas nors sako „Naudoju „ChatGPT“ vertimui“, tas sakinys nėra pakankamai konkretus, kad būtų prasmingas. Kurį „ChatGPT“? Nano? 4o-mini? ‎4.1-mini? 5.4? Atsakymas pakeičia rezultatą neakivaizdžiais būdais, bent jau kalbos turinio atžvilgiu.

Netgi „teisingi“ vertimai skyrėsi vienas nuo kito

Tai yra ta dalis, kuri man atrodo įdomiausia, ir aš dar ne iki galo supratau, ką apie tai galvoti.

Trys modeliai, pateikę idiomatiškus vertimus, davė tris skirtingus vertimus:

• GPT-4.1-MINI: „sėkmingai tai įgyvendinti“
• GPT-5.4-MINI: „pasiekti savo tikslą“
• GPT-5.4: „iškovoti pergalę“

Visi trys yra pateisinami angliški llevarse el gato al aguavertimai. Tačiau jie nėra lygiaverčiai.

Kad pavyktų pabrėžia įvykdymą prieš sunkumą, tu padarei ką nors sunkaus ir tai pavyko. ‎„Savo noru pasiekti“pabrėžia siekiamą rezultatą, mažiau akcentuojant sunkumus. Vykti į viršų pabrėžia konkurencinę pergalę, laimėjimą prieš kitus.

Originali ispanų frazė yra artimiausia pirmajam iš šių variantų. Frazė reiškia pasipriešinimo įveikimą, o ne paprasčiausią vieno rezultato pasirinkimą ir jo įgyvendinimą. Bet gauti savo ir iškovoti pergalę nėra neteisingi, jie tiesiog yra netikslūs skirtingomis kryptimis.

Tai kelia klausimą, kurį laikau išties sunkų: kai trys modeliai pateikia teisingą, bet skirtingą idiomatinį vertimą, kaip įvertinti, kuris yra geriausias? BLEU balai lyginami su viena referenciniu vertimu – bet kas jį parašė ir kurį iš šių trijų jis būtų pasirinkęs?

Mūsų AI vertimo agentas, ką verta pripažinti, prieš pateikdamas bet kokį atsakymą, uždavė teisingą klausimą ‎: Kokia yra frazės 'llevarse el gato al agua' reikšmė šioje situacijoje?‎ Buvo pasiūlytos trys galimybės – pasiekti sunkų tikslą, paimti kažką nereikalingo arba užsiimti rizikinga veikla. Tas klausimas nėra dekoratyvinis. Tai mechanizmas, kuriuo sprendžiamas kontekstualus dviprasmiškumas prieš galutinai užbaigiant vertimą.

Tačiau esmė išlieka: trys teisingi atsakymai, trys skirtingi reikšmės niuansai. Vertimo vertinimo įrankiai nėra sukurti tokiam niuansui.

Ko dar nežinau

Noriu būti sąžiningas dėl to, ką šis testas parodo ribotai.

Vienas frazeologizmas, viena kalbų pora, viena diena vidinio testavimo. Tai nėra tyrimas. Tai yra pastebėjimas. Nežinau, ar šis modelis (mažesni modeliai, pagal nutylėjimą, naudoja tiesioginę reikšmę, didesni modeliai pasiekia idiomatinę) nuosekliai galioja visose:

• Kitose ispaniškose idiomose
• Kitose kalbų porose su turtingomis idiomatinėmis tradicijomis (ateina į galvą arabų, japonų, rusų kalbos)
• Neidiominiame turinyje, kur skirtumas netaikomas
• Kraštutiniais atvejais, kai mažesnis modelis teisingai supranta idiomą, o didesnis jos nesupranta

Taip pat nežinau, ar tai stabili šių modelių savybė, ar kažkas, kas keičiasi su atnaujinimais ir tikslesniu derinimu. Modelių teikėjai neskelbia su vertimu susijusių pakeitimų žurnalų. Modelio versija, kuri šiandien teisingai apdoroja llevarse el gato al agua, kitą mėnesį gali būti atnaujinta, ir mes neturėtume jokio būdo sužinoti.

Ką aš žinau: šis testas davė pakankamai įdomų rezultatą , kad noriu atlikti daugiau tokių testų, sistemingiau, įvairesnėse kalbų porose ir turinio tipuose. Kai turėsiu daugiau ką pasidalinti, pasidalinsiu.

Du tyrimo klausimai, kuriuos verta apsvarstyti

Baigsiu dviem klausimais, kuriuos man paliko šis testas. Aš jiems neatsakysiu, dar neturiu duomenų, kad galėčiau tai padaryti. Tačiau manau, kad tai tinkami klausimai, kuriuos reikia užduoti.

Pirma: kokiame parametrų slenkstiniame lygyje idiomatinė kompetencija tampa patikima?

Perėjimas nuo GPT-4o-MINI ir GPT-4.1-NANO (abu tiesioginiai) prie GPT-4.1-MINI (idiomatinio) rodo, kad tarp tų modelių dydžių parametrų diapazone yra tam tikras slenkstis, kur prasideda idiomų atpažinimas. Ar tai nuoseklu? Ar tai taikoma idiomoms visose kalbose, ar tai priklauso nuo to, kiek gerai kalba yra atstovaujama mokymo duomenyse? Aš nežinau. Tačiau žinojimas būtų naudingas visiems, kuriantiems vertimo procesus.

Antra: kiek kainuoja modelio versijos nepermatomumas vartotojams dideliu mastu?

Jei vartotojas per mėnesį apdoroja 1 000 dokumentų per įrankį, kuris neatskleidžia, kokia modelio versija naudojama (o kai kurie iš tų dokumentų yra su idiomomis), kaip dažnai pasikartojantis gedimas įvyksta nematomas? Kaip jie sužinotų? Kokia yra tikroji kaina, jei niekada nesužinotume?

Manau, kad tai svarbesnis klausimas nei dauguma šiuo metu cirkuliuojančių palyginimų „kuris dirbtinis intelektas geriausiai tinka vertimui“. Atsakymas nėra „naudokite didžiausią modelį.“ Atsakymas gali būti: žinokite, ką naudojate, atlikite savo testus su savo turiniu ir nesitikėkite, kad vieno teikėjo pavadinimas garantuoja nuoseklų elgesį visame jų modelių asortimente.

Bent jau taip suprantu iš šio testo.

Tyrimo klausimai

1. Ar modelio dydis patikimai nuspėja idiomatinio vertimo kokybę?

Remiantis šiuo vieninteliu bandymu: mažesni, efektyvumui optimizuoti modeliai to paties dirbtinio intelekto šeimos viduje automatiškai tiesiogiai vertė gerai žinomą ispanų idiomą, o didesnės/naujesnės tos pačios modelio versijos pateikė teisingus idiominius vertimus. Ar tai galioja įvairioms idiomų kategorijoms ir kalbų poroms, yra kitas klausimas. Atliksiu daugiau testų.

2. Kodėl trys „teisingi“ idiomatiniai vertimai davė tris reikšmingai skirtingus rezultatus?

GPT-4.1-MINI, GPT-5.4-MINI ir GPT-5.4 visi idiomatiškai išvertė llevarse el gato al agua – bet į skirtingas anglų kalbos posakius su subtiliai skirtingomis konotacijomis. Tai rodo , kad idiomatinio vertimo kokybė turi bent du matmenis: ar modelis apskritai atpažįsta idiomą, ir kokį ekvivalentą jis pasirenka iš tikslinės kalbos galimų variantų. Standartiniai vertimo kokybės rodikliai aiškiai neišskiria šių dviejų matmenų. Manau, kad jie turėtų.

Šis įrašas pagrįstas vidiniais „MachineTranslation.com“ platformos bandymais. Šiuo metu čia parodytas kelių modelių versijos testavimas dar nėra viešai prieinamas. Dalinuosi atradimu, nes manau, kad pastebėjimas yra naudingas, nepriklausomai nuo to, kur atliekate vertimus.