Qwen proti ChatGPT: Kateri model umetne inteligence prevaja bolje?

Trenutna generacija ChatGPT-ja in Qwen sta oba del nabora modelov, ki jih MachineTranslation.com uporablja pri vsakem prevodu, in ne dva zunanja izzivalca, ki se ju ocenjuje v primerjavi s samo platformo. Če isto besedilo preizkusite pri obeh na enakih segmentih, ChatGPT na splošno zmaga pri večjem deležu jezikovnih parov. Če rezultate razdelite po smeri prevajanja, pa se slika močno zoži na enem določenem mestu: pri prevajanju v angleščino, kjer sta si modela skoraj izenačena.

Ali obstaja umetna inteligenca, ki je za prevajanje boljša od ChatGPT-ja?

Splošno zanimanje za alternative ChatGPT-ju je z izboljšavami konkurenčnih modelov naraslo, čeprav se razlogi med primeri uporabe močno razlikujejo in ni enotne razlage. Zlasti pri prevajanju je bolj koristno vprašanje, kateri model se dejansko bolje odreže pri določenem jezikovnem paru – kar je preverljivo vprašanje in ne stvar subjektivnega mnenja.

V zadnjih 28 dneh prometa na MachineTranslation.com sta oba modela prevedla enako izvirno besedilo v 98 jezikovnih parih. ChatGPT je dosegel višjo oceno pri 77 od teh parov; Qwen je dosegel višjo oceno pri 21. Uteženo povprečje primerljivih rezultatov postavlja ChatGPT na 9.10 od 10 in Qwen na 8.98, kar je v povprečju realna, a skromna razlika, ki pa prikriva precej večji razkorak, ko se upošteva smer prevajanja.

Zakaj razlika pri prevajanju v angleščino skoraj izgine?

Podatki kažejo, kje pride do razkoraka, ne pa zakaj. Jasno je, da Qwenova konkurenčnost ni enakomerno porazdeljena. Od 27 parov, kjer je ciljni jezik angleščina, jih Qwen osvoji 13, kar je v bistvu kot met kovanca. Od preostalih 71 parov – tako pri prevajanju iz angleščine kot med dvema neangleškima jezikoma – ChatGPT zmaga v 63 oziroma v 89 % primerov. Ekipa, ki bi predvidevala, da se Qwenova uspešnost pri prevajanju v angleščino prenaša tudi na prevajanje iz angleščine ali med neangleškimi pari, bi potegnila napačen nauk iz napačne smeri.

Je Qwen kitajsko podjetje in ali je to pomembno za prevajanje?

Qwen razvija Alibaba Cloud s sedežem na Kitajskem. Samo po sebi to ne spremeni tega, kako dobro model prevede določen stavek; zgornji podatki odražajo dejansko kakovost rezultatov ne glede na to, kje je model razvit. Kje pa je to lahko pomembno, je ravnanje s podatki: podjetja, ki prevajajo regulirano ali občutljivo vsebino (pogodbe, zdravstvene kartoteke, osebne podatke), bi morala vprašanje o tem, kje ponudnik umetne inteligence obdeluje in hrani to vsebino, obravnavati kot resen element skrbnega pregleda, ločen od same kakovosti prevoda. To velja za katerega koli ponudnika umetne inteligence, ne posebej za Qwen, in to je del razloga, zakaj MachineTranslation.com neposredno objavlja svoje prakse ravnanja s podatki in varnosti, namesto da bi to vprašanje pustil neodgovorjeno.

Je kateri od modelov zanesljivejši za pravno in poslovno prevajanje?

Ne dosledno, poleg tega pa razhajanje ni vedno povezano s tem, kateri model doseže višjo oceno. Testiranje platforme MachineTranslation.com na resničnem pogodbenem jeziku je razkrilo dva ločena primera, ki ju velja poznati, preden kateremu koli od modelov zaupate pravno besedilo. Idiomatski jezik gre včasih v drugo smer: ločen neposredni preizkus je pokazal, da je ChatGPT nemški idiom prevedel dobesedno in napačno, medtem ko je Qwen našel pravilen idiomatski pomen – opomnik, da splošna prednost nobenega modela v zbirnih podatkih ne drži za vsak posamezen stavek.

Noben model ne zmaguje dosledno v teh treh primerih: skupna ocena posameznega modela ne napoveduje njegovega delovanja pri katerem koli specifičnem izrazu ali besedni zvezi. To je tudi razlog, zakaj je pri pravnih in pogodbenih besedilih koristen korak človeškega preverjanja, ne glede na to, kateri model je pripravil prvi osnutek.

Kaj pa jezikovna pokritost?

Niti ChatGPT niti Qwen ne objavljata preverjenega, neodvisno potrjenega seznama jezikovnih parov, pri katerih kakovost prevajanja pade. Oba sta modela za splošne namene s širokim večjezičnim usposabljanjem, kar pa je drugačna trditev od izmerjene prevajalske zmogljivosti pri določenem naboru jezikov. MachineTranslation.com neposredno preizkuša in ocenjuje kakovost prevajanja v več kot 330 jezikih, namesto da bi se zanašal na splošno jezikovno zmožnost modela kot nadomestek za to, kako dobro v resnici prevaja.

Česa ne bi smeli prilepiti v ChatGPT ali Qwen za poslovno prevajanje?

Niti ChatGPT niti Qwen nista bila zgrajena kot namenski prevajalski platformi, lepljenje občutljivih poslovnih vsebin neposredno v klepetalni vmesnik za splošne namene pa odpira enaka vprašanja glede ravnanja s podatki kot lepljenje v katero koli drugo potrošniško orodje AI: kje se vnos obdeluje, ali se hrani in kdo ima dostop do njega. Pogodbe, zdravstveni kartoni, imigracijski dokumenti in finančna poročila so natanko tiste vrste vsebine, pri katerih je na to vprašanje vredno odgovoriti pred prevajanjem, ne pa po njem. To je tehten razlog, zakaj je namenska prevajalska platforma z objavljenimi, preverljivimi praksami ravnanja s podatki povsem drugačna izbira kot klepetalni vmesnik za splošne namene, ne glede na to, kateri model se skriva v ozadju obeh.

Kako MachineTranslation.com dejansko uporablja oba modela

MachineTranslation.com pri vsakem prevodu zažene ChatGPT, Qwen in več kot 20 drugih modelov AI, nato pa prikaže različico, o kateri se ti modeli najbolj strinjajo. Glede na to, kako izrazito se zmogljivost modelov Qwen in ChatGPT razlikuje glede na smer prevajanja, bi izbira enega modela kot stalne privzete možnosti pomenila napačno oceno pri predvidljivem deležu jezikovnih parov. Enak vzorec, odvisen od smeri, se kaže tudi v primerjavi Qwen proti DeepSeek na spletnem mestu MachineTranslation.com. Za celotno sliko o tem, kako se trenutni modeli preizkušajo med seboj, si oglejte celotno primerjalno testiranje modelov na MachineTranslation.com.

Pogosta vprašanja