Qwen vs ChatGPT: Który model AI tłumaczy lepiej?

Obecna generacja ChatGPT oraz Qwen należą do puli modeli, z których MachineTranslation.com korzysta przy każdym tłumaczeniu, a nie są dwoma zewnętrznymi rywalami ocenianymi w porównaniu z samą platformą. Przepuszczenie tego samego tekstu przez oba modele na identycznych segmentach pokazuje, że ChatGPT wygrywa w większości par językowych ogółem. Podział wyników według kierunku gwałtownie zawęża tę różnicę w jednym konkretnym przypadku: przy tłumaczeniu na język angielski, gdzie oba modele osiągają niemal równe wyniki.

Czy istnieje sztuczna inteligencja lepsza od ChatGPT w tłumaczeniu?

Ogólne zainteresowanie alternatywami dla ChatGPT wzrosło wraz z rozwojem konkurencyjnych modeli, choć powody tego są bardzo zróżnicowane w zależności od przypadku użycia i nie ma jednego wytłumaczenia. W przypadku samego tłumaczenia bardziej przydatnym pytaniem jest to, który model faktycznie radzi sobie lepiej w danej parze językowej – a jest to kwestia mierzalna, a nie sprawa subiektywnych opinii.

W ciągu ostatnich 28 dni ruchu na platformie MachineTranslation.com oba modele przetłumaczyły identyczny tekst źródłowy w 98 parach językowych. ChatGPT uzyskał wyższy wynik w 77 z tych par, natomiast Qwen uzyskał wyższy wynik w 21. Średnia ważona dla porównywanych wyników daje modelowi ChatGPT 9.10 na 10, a modelowi Qwen 8.98 – to realna, ale skromna średnia różnica, która maskuje znacznie wyraźniejszy podział, gdy uwzględni się kierunek tłumaczenia.

Dlaczego różnica niemal znika przy tłumaczeniu na język angielski?

Dane pokazują, gdzie następuje podział, a nie dlaczego. Jasne jest to, że konkurencyjność modelu Qwen nie rozkłada się równomiernie. Na 27 par, w których językiem docelowym jest angielski, Qwen wygrywa 13, co jest w zasadzie rzutem monetą. Spośród pozostałych 71 par – zarówno w tłumaczeniu z języka angielskiego, jak i między dwoma językami innymi niż angielski – ChatGPT wygrywa 63, czyli 89% z nich. Zespół zakładający, że wyniki Qwen w tłumaczeniu na język angielski przekładają się na tłumaczenia wychodzące lub pary języków innych niż angielski, wyciągnąłby błędne wnioski z niewłaściwego kierunku.

Czy Qwen to chińska firma i czy ma to znaczenie w przypadku tłumaczenia?

Qwen jest rozwijany przez Alibaba Cloud z siedzibą w Chinach. Samo w sobie nie zmienia to faktu, jak dobrze model tłumaczy dane zdanie – powyższe dane odzwierciedlają rzeczywistą jakość wyników, niezależnie od tego, gdzie model powstał. Kwestia ta może mieć jednak znaczenie w kontekście przetwarzania danych: firmy tłumaczące treści regulowane lub wrażliwe (umowy, dokumentację medyczną, dane osobowe) powinny traktować kwestię tego, gdzie dostawca AI przetwarza i przechowuje te treści, jako realny element due diligence, niezależny od samej jakości tłumaczenia. Dotyczy to każdego dostawcy AI, a nie tylko Qwen, i jest to jeden z powodów, dla których MachineTranslation.com publikuje własne zasady przetwarzania danych i bezpieczeństwa wprost, zamiast pozostawiać tę kwestię bez odpowiedzi.

Czy któryś z tych modeli jest bardziej niezawodny w tłumaczeniach prawniczych i biznesowych?

Nie w sposób konsekwentny, a rozbieżności nie zawsze sprowadzają się do tego, który model uzyskuje wyższy wynik. Testy przeprowadzone przez MachineTranslation.com na autentycznym języku umów wykazały dwa odrębne przypadki, o których warto wiedzieć przed powierzeniem tekstów prawnych któremukolwiek z modeli. Język idiomatyczny rządzi się czasami odmiennymi prawami: osobne bezpośrednie porównanie wykazało, że ChatGPT przetłumaczył niemiecki idiom dosłownie i błędnie, podczas gdy Qwen bezbłędnie oddał znaczenie idiomatyczne – to przypomnienie, że ogólna przewaga żadnego z modeli w danych zagregowanych nie sprawdza się zdanie po zdaniu.

Żaden z modeli nie wygrywa konsekwentnie we wszystkich trzech przypadkach: ogólny zagregowany wynik danego modelu nie pozwala przewidzieć jego zachowania w przypadku konkretnego terminu czy sformułowania. Właśnie dlatego teksty prawne i umowy wymagają etapu weryfikacji przez człowieka, niezależnie od tego, który model przygotował wersję roboczą.

A co z zakresem obsługiwanych języków?

Ani ChatGPT, ani Qwen nie publikują zweryfikowanej, niezależnie potwierdzonej listy par językowych, w przypadku których jakość tłumaczenia spada. Oba są modelami ogólnego przeznaczenia z szerokim treningiem wielojęzycznym, co stanowi zupełnie inne twierdzenie niż zmierzona jakość tłumaczenia w określonym zestawie języków. MachineTranslation.com bezpośrednio testuje i ocenia jakość tłumaczenia dla 330+ języków, zamiast polegać na ogólnych zdolnościach językowych modelu jako wyznaczniku tego, jak dobrze faktycznie tłumaczy.

Czego nie należy wklejać do ChatGPT ani Qwen w przypadku tłumaczeń biznesowych?

Ani ChatGPT, ani Qwen nie zostały stworzone jako dedykowane platformy tłumaczeniowe, a wklejanie poufnych treści biznesowych bezpośrednio do interfejsu czatu ogólnego przeznaczenia wiąże się z tymi samymi wątpliwościami dotyczącymi przetwarzania danych, co wklejanie ich do jakiegokolwiek innego konsumenckiego narzędzia AI: gdzie dane wejściowe są przetwarzane, czy są przechowywane i kto ma do nich dostęp. Umowy, dokumentacja medyczna, dokumenty imigracyjne oraz sprawozdania finansowe to dokładnie ten rodzaj treści, w przypadku których warto odpowiedzieć sobie na to pytanie przed tłumaczeniem, a nie po fakcie. Jest to istotny powód, dla którego dedykowana platforma tłumaczeniowa z jawnymi, możliwymi do zweryfikowania zasadami przetwarzania danych stanowi zupełnie inne rozwiązanie niż interfejs czatu ogólnego przeznaczenia – niezależnie od tego, jaki model leży u podstaw każdego z nich.

Jak MachineTranslation.com faktycznie wykorzystuje oba modele

MachineTranslation.com uruchamia ChatGPT, Qwen oraz ponad 20 innych modeli AI dla każdego tłumaczenia, a następnie przedstawia wersję, co do której modele te są najbardziej zgodne. Biorąc pod uwagę, jak wyraźnie wydajność modeli Qwen i ChatGPT różni się w zależności od kierunku, wybór jednego modelu jako stałego ustawienia domyślnego oznaczałby nietrafione wybory w przypadku przewidywalnej części par językowych. Ten sam zależny od kierunku wzorzec widać w porównaniu Qwen vs DeepSeek przygotowanym przez MachineTranslation.com. Aby uzyskać pełny obraz tego, jak obecne modele są testowane względem siebie, zobacz pełne testy porównawcze modeli na MachineTranslation.com.

Często zadawane pytania