Nuo GPT-3 iki GPT-5: kaip iš tikrųjų pasikeitė DI vertimo kokybė

GPT-3, GPT-4 ir GPT-5 skiria penkeri metai ir kelios architektūros kartos, tačiau vertimui naudingas klausimas nėra „kuris iš jų protingiausias“. Jis siauresnis: kas konkrečiai pasikeitė tame, kaip šie modeliai susidoroja su kalbos dalimis, kurios nesiverčia pažodžiui – tokiais dalykais kaip idiomos, dviprasmybės ir kalbos registras? Patobulėjimas įvyko konkrečiose srityse, tam tikrais momentais, ir tai nebuvo tiesiaeigis judėjimas nuo senesnio link naujesnio.

Ką iš tiesų vertimui pasiūlė GPT-3

OpenAI išleido GPT-3 2020 m., dar prieš atsirandant pačios MachineTranslation.com testavimo programai, todėl čia pateikta informacija nėra autorinis lyginamasis testas. Tai gerai dokumentuota istorija, o ne vidinių bandymų rezultatas. GPT-3 buvo pirmasis tokio tipo modelis, galintis kurti sklandų, natūraliai skambantį tekstą keliomis kalbomis be specialaus apmokymo konkrečiai užduočiai, todėl tai tapo tikru lūžio tašku. Kalbant konkrečiai apie vertimą, tas pats sklandumas sukėlė realią riziką: GPT-3 galėjo pateikti užtikrintą, taisyklingai suformuluotą sakinį tiksline kalba, kuris vis dėlto buvo klaidingas, o pačiame rezultate niekas nerodė, kad įsivėlė klaida.

Kas pasikeitė pasirodžius GPT-4

GPT-4 debiutavo 2023 m. kovo mėn., ir maždaug ties šia karta prasideda pačios MachineTranslation.com modelių bandymai. Patobulėjimas buvo realus, tačiau netolygus. Testuojant dviprasmišką anglišką frazę „That's sick“ japonų kalba, GPT-4.1-nano buvo vienintelis iš šešių testuotų modelių, kuris sąmoningą dvejopą frazės reikšmę susiaurino iki vienos interpretacijos, o kiti penki išlaikė pradinės frazės sumanytą dviprasmiškumą. Idiomos buvo didesnė silpnybė: išbandžius ispanišką idiomą „llevarse el gato al agua“ su penkiomis GPT versijomis iš karto, mažesni GPT-4o-mini ir GPT-4.1-nano pateikė tą patį pažodinį, neteisingą vertimą, visiškai nesuprasdami idiomos.

Tas pats modelis pasikartojo ir kitur. Vokišką idiomą „ich verstehe nur Bahnhof“, patikrintą aštuoniomis GPT ir Claude subversijomis, būtent GPT-4o-mini išvertė pažodžiui ir neteisingai, o mažesnis, naujesnis tame pačiame teste dalyvavęs modelis GPT-4.1-nano ją išvertė teisingai. Karta ir modelio dydis nuosekliai nekoreliavo – šią tendenciją MachineTranslation.com modelių versijų testavimas nagrinėja išsamiau.

Ką GPT-5 pakeitė vertimo srityje

OpenAI pristatė GPT-5 kaip vieningą sistemą, kuri nukreipia užklausas į greitą numatytąjį modelį arba gilesnio samprotavimo modelį priklausomai nuo užduoties – tai struktūrinis pokytis, palyginti su vieno modelio GPT-4 architektūra. Pačios OpenAI paskelbtoje GPT-5 System Card nurodoma, kad bendras modelio faktinių klaidų dažnis yra maždaug 45 % mažesnis nei GPT-4 ir 80 % mažesnis nei GPT-3. Šis bendras patikimumo padidėjimas aiškiai matomas ir vertime. MachineTranslation.com bandymai rodo ryškiausius pagerėjimus būtent ten, kur GPT-4 eros modeliams sekėsi sunkiausiai: vertinant tą pačią ispanišką idiomą, su kuria nesusidorojo GPT-4o-mini ir GPT-4.1-nano, tiek GPT-5.4-mini, tiek GPT-5.4 pateikė teisingus, idiomiškus vertimus – kiekvienas suformulavo šiek tiek kitaip, tačiau abu suprato pačią idiomą.

Šis paskutinis punktas yra svarbus: atskiras standartinės verslo frazės „please confirm receipt of this document“ vertimo į vokiečių kalbą testas parodė beveik identiškus rezultatus visuose testuotuose modeliuose, įskaitant GPT-4o-mini ir GPT-5 kartos modelius. Kartų atotrūkis būdingas būtent perkeltinei ir dviprasmiškai kalbai, o ne bendram kokybės lygiui.

Ar naujesnė GPT karta visada reiškia geresnį vertimą?

Ne. Bandant hebrajų kalbos idiomą skirtingose modelių šeimose, GPT-5.4-mini ir GPT-5.4 pateikė dvi skirtingas, dalines tos pačios frazės interpretacijas, iš kurių nė viena nebuvo visiškai teisinga, o senesnis, nesusijęs modelis buvo arčiau tiesos. Naujesnis modelis automatiškai nereiškia tikslesnio, o didesnis ar naujesnis modelis konkrečiam sakiniui ne visada yra saugesnis pasirinkimas.

Kokia yra GPT-5 padėtis vertimo srityje šiandien

Tiek GPT-3, tiek GPT-4 jau nebenaudojami ChatGPT; GPT-4 išlieka pasiekiamas tik per OpenAI API esamoms integracijoms. Dabartinė karta – GPT-5.4 ir GPT-5.5 – yra tai, ką MachineTranslation.com naudoja šiandien, ir ji konkurencingai varžosi su kitų teikėjų dabartiniais modeliais, nors ir ne visose kalbų porose demonstruoja vienodai geresnius rezultatus. Norėdami išsamiau pamatyti, kaip dabartinės GPT subversijos lyginamos tarpusavyje ir su tokiais modeliais kaip Claude bei DeepSeek, peržiūrėkite MachineTranslation.com tiesioginius subversijų palyginamuosius testus, kurie gilinasi labiau, nei leidžia kartų apžvalga.

Ką tai reiškia, jei atliekate lokalizavimą dideliu mastu

Svarbiausia didelės apimties lokalizavimo programos išvada nėra ta, kad „GPT-5 lenkia GPT-3“. Esmė ta, kad būtent modelio versija, o ne tik modelių šeima, lemia, ar konkreti idioma ar dviprasmiška frazė bus išversta teisingai, ir tai galioja visoms kalbų poroms, o ne tik toms kelioms, kurios parodytos čia. Tai labiausiai aktualu turiniui, kuris visų pirma remiasi tonu ir vaizdinga kalba, ypač rinkodaros tekstams ir vartotojų sukurtam turiniui, kur viena pažodžiui išversta idioma gali pakeisti visą įrašo ar reklamos prasmę. Programa, perkelianti turinį į dešimtis kalbų, susidurs su būtent tokia kalba kiekvienoje iš jų. MachineTranslation.com subversijų testavimo serija ir išsamūs modelių palyginimo testai nagrinėja tai išsamiau. Platformos požiūris – kiekvienam vertimui naudoti dabartinius GPT modelius kartu su daugiau nei 20 kitų – egzistuoja būtent todėl, kad nė vieno modelio versijų istorija pati savaime nėra pakankamai patikima garantija.

Dažniausiai užduodami klausimai