Qwen vs ChatGPT: Koji AI model prevodi bolje?

Trenutačna generacija ChatGPT-ja i Qwen dio su skupa modela koje MachineTranslation.com pokreće pri svakom prijevodu, a ne dva vanjska izazivača koja se ocjenjuju u odnosu na samu platformu. Pokrenete li isti tekst kroz oba modela na identičnim segmentima, ChatGPT općenito odnosi pobjedu u većem udjelu jezičnih parova. Podijelite li rezultate po smjeru, slika se naglo sužava na jednom specifičnom mjestu: prijevodu na engleski jezik, gdje su ta dva modela gotovo izjednačena.

Postoji li AI bolji od ChatGPT-ja za prevođenje?

Opći interes za alternativama ChatGPT-ju porastao je kako su se konkurentski modeli poboljšavali, iako razlozi uvelike variraju ovisno o slučaju upotrebe i ne postoji jedinstveno objašnjenje. Konkretno za prevođenje, korisnije je pitanje koji model zapravo daje bolje rezultate na određenom jezičnom paru, što je provjerljivo pitanje, a ne stvar osobnog dojma.

Tijekom posljednjih 28 dana prometa na platformi MachineTranslation.com, oba su modela prevodila identičan izvorni tekst u 98 jezičnih parova. ChatGPT je ostvario bolji rezultat u 77 tih parova; Qwen je ostvario bolji rezultat u 21. Ponderirani prosjek uspoređenih rezultata stavlja ChatGPT na 9.10 od 10, a Qwen na 8.98, što je stvarna, ali u prosjeku skromna razlika koja skriva znatno oštriju podjelu kada se u obzir uzme smjer prevođenja.

Zašto razlika gotovo nestaje pri prevođenju na engleski?

Podaci pokazuju gdje nastaje razlika, a ne zašto. Jasno je da Qwenova konkurentnost nije ravnomjerno raspoređena. Od 27 parova u kojima je ciljni jezik engleski, Qwen odnosi pobjedu u njih 13, što je u biti bacanje novčića. Od preostalih 71 parova, i pri prevođenju s engleskog i između dva jezika koji nisu engleski, ChatGPT pobjeđuje u 63, odnosno 89% njih. Tim koji bi pretpostavio da se Qwenova izvedba pri prevođenju na engleski prenosi i na prevođenje s engleskog ili na parove jezika koji ne uključuju engleski, izvukao bi pogrešan zaključak iz pogrešnog smjera.

Je li Qwen kineska tvrtka i je li to važno za prevođenje?

Qwen razvija Alibaba Cloud sa sjedištem u Kini. Samo po sebi, to ne mijenja koliko dobro model prevodi određenu rečenicu — gornji podaci odražavaju stvarnu kvalitetu rezultata bez obzira na to gdje je model razvijen. Ono gdje to može biti važno jest rukovanje podacima: tvrtke koje prevode regulirani ili osjetljivi sadržaj (ugovore, medicinsku dokumentaciju, osobne podatke) trebale bi pitanje o tome gdje pružatelj AI usluga obrađuje i pohranjuje taj sadržaj smatrati stavkom stvarne dubinske analize (due diligence), neovisno o samoj kvaliteti prijevoda. To se odnosi na bilo kojeg pružatelja AI usluga, ne samo na Qwen, i to je jedan od razloga zašto MachineTranslation.com izravno objavljuje vlastite prakse rukovanja podacima i sigurnosti, umjesto da to pitanje ostavi bez odgovora.

Je li ijedan od ovih modela pouzdaniji za pravno i poslovno prevođenje?

Ne dosljedno, a razilaženje se ne svodi uvijek na to koji model postiže bolji rezultat. Testiranje stvarnog ugovornog jezika koje je proveo MachineTranslation.com otkrilo je dva zasebna slučaja koja vrijedi znati prije nego što se bilo kojem modelu povjeri pravni tekst. Idiomatski jezik ponekad ide u drugom smjeru: zasebno izravno testiranje pokazalo je da je ChatGPT doslovno i netočno preveo njemački idiom, dok je Qwen ponudio točno idiomatsko značenje, što je podsjetnik da ukupno vodstvo nijednog modela u zbirnim podacima ne vrijedi za svaku pojedinu rečenicu.

Nijedan model ne pobjeđuje dosljedno u ova tri slučaja: zbirni rezultat pojedinačnog modela ne predviđa njegovo ponašanje na bilo kojem specifičnom pojmu ili frazi. To je također razlog zašto pravni i ugovorni tekstovi imaju koristi od ljudske provjere, bez obzira na to koji je model izradio prvi nacrt.

Što je s pokrivenošću jezika?

Ni ChatGPT ni Qwen ne objavljuju provjereni, neovisno potvrđeni popis jezičnih parova u kojima kvaliteta prijevoda opada. Oba su modeli opće namjene sa širokom višejezičnom obukom, što je drukčija tvrdnja od izmjerene uspješnosti prevođenja na određenom skupu jezika. MachineTranslation.com izravno testira i ocjenjuje kvalitetu prijevoda na više od 330 jezika, umjesto da se oslanja na opću jezičnu sposobnost modela kao zamjenu za to koliko zapravo dobro prevodi.

Što ne biste trebali lijepiti u ChatGPT ili Qwen za poslovno prevođenje?

Ni ChatGPT ni Qwen nisu napravljeni kao namjenske prevoditeljske platforme, a lijepljenje osjetljivog poslovnog sadržaja izravno u chat sučelje opće namjene nosi ista pitanja o obradi podataka kao i njegovo lijepljenje u bilo koji drugi korisnički AI alat: gdje se unos obrađuje, pohranjuje li se i tko mu može pristupiti. Ugovori, medicinska dokumentacija, imigracijski dokumenti i financijski izvještaji upravo su ona vrsta sadržaja kod koje vrijedi odgovoriti na to pitanje prije prevođenja, a ne poslije. To je stvarni razlog zašto je namjenska prevoditeljska platforma s objavljenim, provjerljivim praksama obrade podataka drukčiji prijedlog od chat sučelja opće namjene, bez obzira na to koji se model nalazi u pozadini bilo kojeg od njih.

Kako MachineTranslation.com zapravo koristi oba modela

MachineTranslation.com pokreće ChatGPT, Qwen i više od 20 drugih AI modela za svaki prijevod, a zatim prikazuje verziju oko koje se ti modeli najviše slažu. S obzirom na to koliko se oštro uspješnost Qwena i ChatGPT-ja razlikuje ovisno o smjeru, odabir jednog modela kao stalno zadanog značio bi pogrešnu procjenu za predvidljiv udio jezičnih parova. Isti obrazac ovisan o smjeru pojavljuje se i u usporedbi Qwen vs DeepSeek na stranici MachineTranslation.com. Za cjelovitu sliku o tome kako se trenutačni modeli međusobno testiraju, pogledajte cjelovito usporedno testiranje modela na MachineTranslation.com.

Često postavljana pitanja