Qwen vs ChatGPT: Koji AI model bolje prevodi?

Trenutna generacija ChatGPT-ja i Qwen su dio baze modela koje MachineTranslation.com pokreće pri svakom prijevodu, a ne dva vanjska izazivača koji se ocjenjuju u odnosu na samu platformu. Pokrenite isti tekst kroz oba modela na identičnim segmentima i ChatGPT odnosi pobjedu u većem udjelu jezičkih parova u cjelini. Podijelite rezultate po smjeru i slika se naglo sužava na jednom specifičnom mjestu: prevođenju na engleski jezik, gdje su ova dva modela gotovo izjednačena.

Postoji li AI bolji od ChatGPT-ja za prevođenje?

Opće interesovanje za alternative ChatGPT-ju je poraslo kako su se konkurentski modeli poboljšavali, iako razlozi uveliko variraju ovisno o slučaju upotrebe i ne postoji jedno objašnjenje. Konkretno za prevođenje, korisnije pitanje je koji model zapravo ostvaruje bolje rezultate na određenom jezičkom paru, što je pitanje koje se može testirati, a ne stvar subjektivnog dojma.

Tokom posljednjih 28 dana prometa na stranici MachineTranslation.com, oba modela su prevela identičan izvorni tekst kroz 98 jezičkih parova. ChatGPT je ostvario bolji rezultat u 77 tih parova; Qwen je imao bolji rezultat u 21. Ponderisani prosjek upoređenih rezultata stavlja ChatGPT na 9.10 od 10, a Qwen na 8.98, što predstavlja stvarnu, ali skromnu razliku u prosjeku koja prikriva znatno oštriju podjelu kada se u obzir uzme smjer prevođenja.

Zašto razlika gotovo nestaje pri prevođenju na engleski?

Podaci pokazuju gdje dolazi do podjele, a ne zašto. Jasno je da Qwenova konkurentnost nije ravnomjerno raspoređena. Od 27 parova u kojima je ciljni jezik engleski, Qwen odnosi pobjedu u 13, što je praktično bacanje novčića. Od preostalog 71 para, što uključuje i prevođenje s engleskog i između dva jezika koji nisu engleski, ChatGPT pobjeđuje u 63, odnosno 89% njih. Tim koji pretpostavlja da se Qwenove performanse pri prevođenju na engleski prenose na prevođenje s engleskog ili na parove jezika koji ne uključuju engleski, izvukao bi pogrešan zaključak iz pogrešnog smjera.

Je li Qwen kineska kompanija i je li to važno za prevođenje?

Qwen razvija Alibaba Cloud, sa sjedištem u Kini. Samo po sebi, to ne utječe na to koliko dobro model prevodi datu rečenicu — gore navedeni podaci odražavaju stvarni kvalitet izlaznog teksta, bez obzira na to gdje je model razvijen. Ono gdje to može biti važno jeste rukovanje podacima: kompanije koje prevode regulisani ili osjetljivi sadržaj (ugovore, medicinsku dokumentaciju, lične podatke) trebale bi pitanje o tome gdje AI pružalac usluga obrađuje i pohranjuje taj sadržaj tretirati kao stvarnu stavku dubinske analize, odvojeno od samog kvaliteta prevoda. To važi za bilo kojeg AI pružaoca usluga, a ne samo za Qwen, i to je dio razloga zašto MachineTranslation.com direktno objavljuje vlastite prakse rukovanja podacima i sigurnosti, umjesto da to pitanje ostavi bez odgovora.

Je li ijedan od ovih modela pouzdaniji za pravno i poslovno prevođenje?

Ne dosljedno, a razlika se ne odnosi uvijek na to koji model ima veći rezultat. Testiranje stvarnog ugovornog jezika koje je proveo MachineTranslation.com otkrilo je dva zasebna slučaja koja vrijedi znati prije nego što se bilo kojem modelu povjeri pravni tekst. Idiomatski jezik ponekad ide u drugom smjeru: zaseban direktni test pokazao je da je ChatGPT doslovno i netačno preveo njemački idiom, dok je Qwen pronašao tačno idiomatsko značenje, što je podsjetnik da ukupno vodstvo nijednog modela u zbirnim podacima ne važi od rečenice do rečenice.

Nijedan model ne pobjeđuje dosljedno u ova tri slučaja: zbirni rezultat pojedinačnog modela ne predviđa njegovo ponašanje na bilo kojem specifičnom terminu ili frazi. To je također razlog zašto pravni i ugovorni tekstovi imaju koristi od koraka ljudske verifikacije, bez obzira na to koji je model izradio prvi nacrt.

Šta je s pokrivenošću jezika?

Ni ChatGPT ni Qwen ne objavljuju provjerenu, nezavisno potvrđenu listu jezičkih parova kod kojih opada kvalitet prevoda. Oba su modeli opšte namjene sa širokom višejezičnom obukom, što je drugačija tvrdnja od izmjerene uspješnosti prevođenja na određenom skupu jezika. MachineTranslation.com direktno testira i ocjenjuje kvalitet prevoda na više od 330 jezika, umjesto da se oslanja na opštu jezičku sposobnost modela kao zamjenu za to koliko on zapravo dobro prevodi.

Šta ne biste trebali lijepiti u ChatGPT ili Qwen za poslovno prevođenje?

Ni ChatGPT ni Qwen nisu napravljeni kao namjenske platforme za prevođenje, a lijepljenje osjetljivog poslovnog sadržaja direktno u chat interfejs opšte namjene nosi ista pitanja rukovanja podacima kao i njegovo lijepljenje u bilo koji drugi korisnički AI alat: gdje se unos obrađuje, da li se zadržava i ko mu može pristupiti. Ugovori, medicinska dokumentacija, imigracioni dokumenti i finansijski izvještaji upravo su ona vrsta sadržaja gdje na to pitanje vrijedi odgovoriti prije prevođenja, a ne poslije. To je pravi razlog zašto je namjenska platforma za prevođenje s objavljenim, provjerljivim praksama rukovanja podacima drugačija opcija u odnosu na chat interfejs opšte namjene, bez obzira na to koji se model nalazi iza ijednog od njih.

Kako MachineTranslation.com zapravo koristi oba modela

MachineTranslation.com pokreće ChatGPT, Qwen i više od 20 drugih AI modela za svaki prevod, a zatim prikazuje verziju oko koje se ti modeli najviše slažu. S obzirom na to koliko se učinak Qwen-a i ChatGPT-a oštro razlikuje po smjeru, odabir jednog modela kao stalnog zadanog rješenja značio bi pogrešnu procjenu na predvidivom udjelu jezičkih parova. Isti obrazac koji zavisi od smjera pojavljuje se i u poređenju Qwen vs DeepSeek na MachineTranslation.com. Za potpunu sliku o tome kako se trenutni modeli testiraju jedni protiv drugih, pogledajte kompletno uporedno testiranje modela na MachineTranslation.com.

Često postavljana pitanja