Qwen vs ChatGPT: Koji AI model prevodi bolje?

Trenutna generacija ChatGPT-ja i Qwen su deo skupa modela koje MachineTranslation.com pokreće pri svakom prevodu, a ne dva spoljna izazivača koja se ocenjuju u odnosu na samu platformu. Ako isti tekst propustite kroz oba na identičnim segmentima, ChatGPT odnosi pobedu u većem broju jezičkih parova u celini. Ako podelite rezultate po smeru prevođenja, slika se naglo sužava na jednom specifičnom mestu: pri prevođenju na engleski, gde su ova dva modela gotovo izjednačena.

Postoji li AI bolji od ChatGPT-ja za prevođenje?

Opšte interesovanje za alternative ChatGPT-ju je poraslo kako su konkurentski modeli napredovali, iako razlozi značajno variraju u zavisnosti od slučaja upotrebe i ne postoji jedinstveno objašnjenje. Konkretno za prevođenje, mnogo korisnije pitanje je koji model se zapravo bolje pokazuje na određenom jezičkom paru, što je pitanje koje se može testirati, a ne stvar ličnog utiska.

Tokom poslednjih 28 dana saobraćaja na MachineTranslation.com, oba modela su prevodila identičan izvorni tekst kroz 98 jezičkih parova. ChatGPT je ostvario bolji rezultat u 77 tih parova; Qwen je ostvario bolji rezultat u 21. Ponderisani prosek za upoređeni prevod stavlja ChatGPT na 9.10 od 10, a Qwen na 8.98, što je stvarna, ali u proseku skromna razlika koja skriva mnogo oštriju podelu kada se u obzir uzme smer prevođenja.

Zašto razlika skoro nestaje pri prevođenju na engleski?

Podaci pokazuju gde nastaje razlika, a ne zašto. Ono što je jasno jeste da konkurentnost modela Qwen nije ravnomerno raspoređena. Od 27 parova gde je ciljni jezik engleski, Qwen odnosi pobedu u 13, što je praktično bacanje novčića. Od preostalog 71 para, kako pri prevođenju sa engleskog tako i između dva jezika koji nisu engleski, ChatGPT pobeđuje u 63, odnosno u 89% njih. Tim koji bi pretpostavio da se učinak modela Qwen pri prevođenju na engleski prenosi i na prevođenje sa engleskog ili na jezičke parove bez engleskog, izvukao bi pogrešnu pouku iz pogrešnog smera.

Da li je Qwen kineska kompanija i da li je to važno za prevođenje?

Qwen razvija Alibaba Cloud, sa sedištem u Kini. Samo po sebi, to ne menja koliko dobro model prevodi datu rečenicu; gorenavedeni podaci odražavaju stvarni kvalitet prevoda bez obzira na to gde je model napravljen. Ono gde to može biti važno jeste rukovanje podacima: kompanije koje prevode regulisan ili osetljiv sadržaj (ugovore, medicinsku dokumentaciju, lične podatke) trebalo bi da pitanje gde AI provajder obrađuje i skladišti taj sadržaj tretiraju kao stvarnu stavku temeljne procene (due diligence), odvojeno od samog kvaliteta prevoda. To važi za bilo kog AI provajdera, a ne samo za Qwen, i to je deo razloga zašto MachineTranslation.com direktno objavljuje sopstvene prakse rukovanja podacima i bezbednosti, umesto da to pitanje ostavi bez odgovora.

Da li je neki od ova dva modela pouzdaniji za pravno i poslovno prevođenje?

Ne dosledno, a razlike se ne svode uvek na to koji model ima bolji rezultat. Testiranje stvarnog jezika ugovora koje je sproveo MachineTranslation.com otkrilo je dva zasebna slučaja koja vredi znati pre nego što bilo kom modelu poverite pravni tekst. Idiomatski jezik se povremeno ponaša drugačije: zaseban direktan test pokazao je da ChatGPT prevodi nemački idiom doslovno i netačno, dok je Qwen pronašao tačno idiomatsko značenje, što je podsetnik da ukupna prednost nijednog modela u zbirnim podacima ne važi za svaku pojedinačnu rečenicu.

Nijedan model ne pobeđuje dosledno u ova tri slučaja: zbirni rezultat pojedinačnog modela ne predviđa njegovo ponašanje pri prevodu bilo kog specifičnog termina ili fraze. To je takođe razlog zašto pravni i ugovorni tekstovi imaju koristi od provere od strane čoveka, bez obzira na to koji je model kreirao prvi nacrt.

Šta je sa jezičkom pokrivenošću?

Ni ChatGPT ni Qwen ne objavljuju verifikovanu, nezavisno potvrđenu listu jezičkih parova kod kojih kvalitet prevoda opada. Oba su modeli opšte namene sa širokom višejezičnom obukom, što je drugačija tvrdnja od izmerenih performansi prevođenja za određeni skup jezika. MachineTranslation.com direktno testira i ocenjuje kvalitet prevoda za više od 330 jezika, umesto da se oslanja na opštu jezičku sposobnost modela kao zamenu za to koliko dobro on zapravo prevodi.

Šta ne bi trebalo da lepite u ChatGPT ili Qwen za poslovno prevođenje?

Ni ChatGPT ni Qwen nisu napravljeni kao namenske platforme za prevođenje, a lepljenje osetljivog poslovnog sadržaja direktno u interfejs za ćaskanje opšte namene povlači ista pitanja o rukovanju podacima kao i njegovo lepljenje u bilo koji drugi AI alat za široku potrošnju: gde se uneti podaci obrađuju, da li se zadržavaju i ko im može pristupiti. Ugovori, medicinska dokumentacija, imigraciona dokumenta i finansijski izveštaji su upravo ona vrsta sadržaja kod koje vredi odgovoriti na to pitanje pre prevođenja, a ne posle. To je pravi razlog zašto je namenska platforma za prevođenje sa objavljenim, proverljivim praksama rukovanja podacima sasvim drugačija ponuda u poređenju sa interfejsom za ćaskanje opšte namene, bez obzira na to koji se model nalazi u njihovoj osnovi.

Kako MachineTranslation.com zapravo koristi oba modela

MachineTranslation.com pokreće ChatGPT, Qwen i više od 20 drugih AI modela za svaki prevod, a zatim prikazuje verziju oko koje se ti modeli najviše slažu. S obzirom na to koliko se performanse modela Qwen i ChatGPT drastično razlikuju u zavisnosti od smera prevođenja, izbor jednog modela kao stalnog podrazumevanog rešenja značio bi donošenje pogrešne procene za predvidiv udeo jezičkih parova. Isti obrazac koji zavisi od smera pojavljuje se i u poređenju Qwen vs DeepSeek na platformi MachineTranslation.com. Za potpunu sliku o tome kako se aktuelni modeli testiraju jedni protiv drugih, pogledajte kompletno testiranje i poređenje modela na MachineTranslation.com.

Često postavljana pitanja