Od GPT-3 do GPT-5: Kako se je dejansko spremenila kakovost prevajanja z UI

GPT-3, GPT-4 in GPT-5 ločuje pet let in več generacij arhitektur, vendar koristno vprašanje za prevajanje ni »kateri je najpametnejši«. Je bolj specifično: kaj točno se je spremenilo v tem, kako ti modeli obravnavajo dele jezika, ki se ne prevajajo dobesedno, kot so idiomi, dvoumnost in register? Izboljšava se je zgodila na določenih mestih, na določenih točkah in ni potekala v ravni črti od starejših k novejšim.

Kaj je GPT-3 dejansko ponudil za prevajanje

OpenAI je GPT-3 izdal leta 2020, preden je obstajal lasten program testiranja spletnega mesta MachineTranslation.com, zato tukaj nič ni lastniško merilo uspešnosti. Gre za dobro dokumentirano zgodovino, ne za interni rezultat testiranja. GPT-3 je bil prvi model svoje vrste, ki je bil sposoben ustvariti tekoče, človeško zveneče besedilo v več jezikih brez usposabljanja za specifične naloge, zaradi česar je bil pravi mejnik. Posebej pri prevajanju pa je ta ista tekočnost ustvarila resnično tveganje: GPT-3 je lahko ustvaril samozavesten, dobro oblikovan stavek v ciljnem jeziku, ki pa je bil še vedno napačen, pri čemer nič v rezultatu ni nakazovalo, da je prišlo do napake.

Kaj se je spremenilo s prihodom GPT-4

GPT-4 je izšel marca 2023, lastno testiranje modelov MachineTranslation.com pa se začenja ravno okoli te generacije. Izboljšava je bila resnična, a neenakomerna. Pri testiranju dvoumne angleške fraze »That's sick« v japonščini je bil GPT-4.1-nano edini od šestih testiranih modelov, ki je namerni dvojni pomen stavka skrčil na eno samo interpretacijo, medtem ko je preostalih pet ohranilo dvoumnost, ki jo je izvirna fraza predvidela. Idiomi so bili večja šibkost: pri hkratnem prevajanju španskega idioma »llevarse el gato al agua« skozi pet različic GPT sta manjša GPT-4o-mini in GPT-4.1-nano ustvarila enak dobeseden, nepravilen prevod in povsem zgrešila idiom.

Enak vzorec se je pokazal tudi drugje. Nemški idiom »ich verstehe nur Bahnhof«, preizkušen skozi osem podrazličic GPT in Claude, je prav GPT-4o-mini prevedel dobesedno in nepravilno, medtem ko ga je manjši, novejši model v istem testu, GPT-4.1-nano, prevedel pravilno. Generacija in velikost modela si nista dosledno ustrezali, kar je vzorec, ki ga testiranje različic modelov na MachineTranslation.com obravnava podrobneje.

Kaj je GPT-5 spremenil pri prevajanju

OpenAI je predstavil GPT-5 kot enoten sistem, ki glede na nalogo usmerja med hitrim privzetim modelom in modelom z globljim sklepanjem, kar je strukturna sprememba v primerjavi z zasnovo enega samega modela pri GPT-4. OpenAI-jev lastni dokument GPT-5 System Card poroča, da je splošna stopnja stvarnih napak modela za približno 45 % nižja kot pri GPT-4 in za 80 % nižja kot pri GPT-3, kar je splošen prirastek zanesljivosti, ki se posebej kaže tudi pri prevajanju. Testiranje MachineTranslation.com kaže najočitnejše izboljšave tam, kjer so se modeli iz obdobja GPT-4 najbolj zatikali: pri istem španskem idiomu, pri katerem sta se zmotila GPT-4o-mini in GPT-4.1-nano, sta tako GPT-5.4-mini kot GPT-5.4 ponudila pravilne, idiomatske prevode – vsak z nekoliko drugačnim besedilom, vendar sta oba razumela sam idiom.

Ta zadnja točka je pomembna: ločen preizkus standardne poslovne fraze »please confirm receipt of this document«, prevedene v nemščino, je prinesel skoraj identične rezultate pri vseh preizkušenih modelih, vključno z modeli GPT-4o-mini in modeli generacije GPT-5. Generacijska razlika se nanaša specifično na preneseni pomen in dvoumen jezik ter ne predstavlja splošne razlike v kakovosti.

Ali novejša generacija GPT vedno pomeni boljši prevod?

Ne. Pri testiranju hebrejskega idioma med družinami modelov sta GPT-5.4-mini in GPT-5.4 ponudila dve različni, delni interpretaciji iste fraze, pri čemer nobena ni bila povsem pravilna, medtem ko se je starejši, nepovezan model bolj približal. Novejši model ni samodejno tudi natančnejši, večji ali novejši model pa ni samodejno varnejša izbira za določen stavek.

Kje je GPT-5 na področju prevajanja danes

Tako GPT-3 kot GPT-4 sta bila umaknjena iz ChatGPT; GPT-4 ostaja dostopen le prek OpenAI API za obstoječe integracije. Trenutna generacija, GPT-5.4 in GPT-5.5, je tisto, kar MachineTranslation.com uporablja danes, in se obnese konkurenčno v primerjavi s trenutnimi modeli drugih ponudnikov, čeprav ne enakomerno bolje pri vsakem jezikovnem paru. Za podrobnejši vpogled v to, kako se trenutne podrazličice GPT primerjajo med seboj in z modeli, kot sta Claude in DeepSeek, si oglejte neposredno testiranje podrazličic na MachineTranslation.com, ki sega globlje, kot lahko ponudi pregled generacij.

Kaj to pomeni, če lokalizirate v velikem obsegu

Ugotovitev, ki je najbolj pomembna za obsežen lokalizacijski program, ni »GPT-5 premaga GPT-3«. Gre za to, da različica modela, ne le družina modelov, določa, ali bo določen idiom ali večpomenska fraza prevedena pravilno, in to velja za vsak jezikovni par, ne le za peščico, prikazano tukaj. To je najbolj pomembno pri vsebinah, ki v prvi vrsti temeljijo na tonu in prenesenem pomenu, zlasti pri marketinških besedilih in uporabniško ustvarjenih vsebinah, kjer lahko en sam dobesedno preveden idiom spremeni celoten pomen objave ali oglasa. Program, ki prenaša vsebino v več deset jezikov, bo na tovrstni jezik naletel v prav vsakem izmed njih. Serija testiranj podrazličic in celovito primerjalno testiranje modelov na MachineTranslation.com to obravnavata podrobneje. Pristop platforme, ki pri vsakem prevodu poleg trenutnih modelov GPT izvaja še več kot 20 drugih, obstaja ravno zato, ker zgodovina različic nobenega posameznega modela sama po sebi ni dovolj zanesljivo jamstvo.

Pogosto zastavljena vprašanja