Qwen vs Gemini kääntämisessä ja miksi suunnalla on väliä

Käytettävissäsi on kaksi mallia ja lista kielipareja, ja sinun on päätettävä, kumpaan malliin luotat projektissasi. Useimmat Qwenin ja Geminin väliset vertailut vastaavat yhdellä kokonaispistemäärällä. Mielestäni yksi pistemäärä peittää sen, mikä ratkaisee lopputuloksen, eli käännössuunnan.

Työskentelen sen parissa, miten testaamme MachineTranslation.comissa ajettavia malleja, joten voin vertailla Qweniä ja Geminiä 98 kieliparissa, jotka on pisteytetty identtisen tekstin pohjalta. Gemini sai korkeammat pisteet 68:ssa näistä pareista ja Qwen 29:ssä, ja keskimääräinen ero on 0,08 pistettä kymmenestä. Pelkät kokonaistulokset eivät kerro, kumpi malli kannattaa valita urdusta englantiin tai englannista haitinkreoliin.

Tämä artikkeli näyttää, missä mallit ovat lähellä toisiaan ja missä kumpikin johtaa. Se kertoo myös sen, mitä en voi vielä kertoa. Aineistoni päättyy 8. elokuuta 2026, ennen kuin Google julkisti Gemini 4:n lokakuussa, joten se kuvaa kummankin mallin aiempia versioita.

Tärkeimmät havainnot

• Identtisen tekstin pohjalta pisteytetyissä 98 kieliparissa (12. heinäkuuta ja 8. elokuuta 2026 välisenä aikana) Gemini sai korkeammat pisteet 68 parissa, Qwen 29:ssä ja yksi pari päättyi tasapeliin.
• Keskimääräinen ero on pieni, Geminille 9,06 vastaan Qwenin 8,98, ja 60 paria 98:sta sijoittuu 0,1 pisteen sisälle.
• Käännettäessä englantiin Qwen johtaa yli 0,1 pisteellä 7:ssä 27 parista ja Gemini 3:ssa; loput 17 ovat 0,1 pisteen sisällä.
• Käännettäessä englannista Gemini johtaa yli 0,1 pisteellä 13:ssa 29 parista ja Qwen ei yhdessäkään.
• Aineisto päättyy ennen kuin Google julkisti Gemini 4:n lokakuussa 2026, joten se kuvaa Geminin aiempia versioita ja vaatii uuden ajon ennen kuin sitä voi pitää ajantasaisena.

Onko Qwen vai Gemini parempi kääntämiseen?

Se riippuu suunnasta, sillä mallit ovat lähellä toisiaan, kun kohdekielenä on englanti, ja Gemini saa korkeammat pisteet useimmissa muissa pareissa. Kaikista 98 parista Gemini sai korkeammat pisteet 68:ssa. MachineTranslation.comin tuloksissa 12. heinäkuuta ja 8. elokuuta 2026 välisenä aikana Gemini sai keskimäärin 9,06 pistettä kymmenestä ja Qwen 8,98, mikä tarkoittaa 0,08 pisteen keskimääräistä eroa.

Paneeli huomioi vain segmentit, joissa ChatGPT, Claude, DeepSeek, Gemini ja Qwen saivat kaikki todellisen pistemäärän, joten jokainen malli arvioidaan identtisen lähdetekstin pohjalta. Jokaisessa kieliparissa on vähintään 30 segmenttiä. Käytän tätä paneelia, koska se poistaa yleisen virheen, nimittäin mallien vertailun eri tekstien pohjalta.

Määrällisesti tarkasteltuna Gemini on edellä 68 parissa (69 %), Qwen 29:ssä (30 %) ja yksi pari päättyi tasapeliin. Pelkkä määrä liioittelee eroa, sillä 60 paria 98:sta on 0,1 pisteen sisällä. Seuraavissa osioissa tulokset jaetaan suunnan ja eron suuruuden mukaan.

Mitkä käännössuunnat suosivat kumpaakin mallia?

Gemini johtaa, kun englanti on lähtökielenä tai kun kumpikaan kieli ei ole englanti, ja Qwen on sen kanssa tasoissa tai edellä, kun englanti on kohdekielenä. Englannista käännettäessä Gemini johtaa yli 0,1 pisteellä 13:ssa 29 parista ja Qwen ei yhdessäkään. Englantiin käännettäessä Qwen johtaa tällä marginaalilla 7:ssä 27 parista ja Gemini 3:ssa.

Englantiin käännettäessä Qwen on 0,1 pisteen sisällä Geministä tai edellä 24:ssä 27 parista. Suunnan mukaan keskiarvoistettuna Qwen on noin 0,04 pistettä edellä englantiin käännettäessä, kun taas Gemini on noin 0,16 pistettä edellä englannista käännettäessä ja 0,13 pistettä kahden muun kuin englannin kielen välillä.

En tiedä, miksi tämä ero syntyy, eikä tämä aineisto voi sitä kertoa. Yksi selitys, jota testaisin ensimmäisenä, on kunkin mallin taustalla oleva koulutustekstien jakauma, mutta en ole tehnyt tätä testiä. Qwen osoittaa samanlaista kaavaa myös ChatGPT:tä vastaan. Samassa paneelissa toteutettu vertailumme Qwenin ja ChatGPT:n välillä havaitsi näiden kahden olevan lähes tasoissa englantiin käännettäessä, ja ChatGPT oli edellä 89 %:ssa muista pareista.

Missä kielipareissa erot ovat suurimmat?

Suurimmat erot ovat Geminin eduksi. Se johtaa 0,51 pisteestä 0,95 pisteeseen pareissa venäjästä kazakkiin, englannista haitinkreoliin, englannista tagalogiin, espanjasta kreikkaan ja arabiasta persiaan. Qwenin suurimmat johdot ovat pienempiä, 0,15 ja 0,26 pisteen välillä, ja neljä sen viidestä parhaasta parista suuntautuu englantiin.

En pitäisi näitä lopullisina sijoituksina. Kaksi suurinta eroa, venäjästä kazakkiin ja englannista haitinkreoliin, perustuvat mediaaniparia pienempiin otoksiin. Englannista tagalogiin, espanjasta kreikkaan ja arabiasta persiaan perustuvat suurempiin otoksiin, joten luottaisin niihin kolmeen enemmän. Testaisin nuo kaksi pienen otoksen eroa uudelleen ennen niihin luottamista.

Mitä 0,1 pisteen ero tarkoittaa?

Mielestäni alle 0,1 pisteen ero on liian pieni voittajan julistamiseen. Parista 98 peräti 60 asettuu tämän marginaalin sisälle, ja jokainen pari pisteytetään rajallisen segmenttimäärän perusteella. Tuo 0,1 pisteen raja on oma työkynnykseni, enkä ole tehnyt näille pareille tilastollisen merkitsevyyden testausta.

Pisteytys jättää myös huomiotta joitakin eroja. Yleisten fraasien testeissämme ajoimme sanan ”sorry” arabiaksi 22 tekoälymallin läpi. Gemini ja Qwen valitsivat kumpikin arkikielisen ilmaisun آسف. ChatGPT ja yhdistetty tulos valitsivat puolestaan muodollisen ilmaisun عذرًا. Jokainen malli sai pisteet 9,5, joten sanat eroavat tyylilajiltaan, mutta pistemäärä ei muuttunut lainkaan.

Siksi luen marginaalia ja tyylilajiesimerkkejä yhdessä. Pieni ero selkeän tyylilajieron kera vaatii ihmisen tekemän päätöksen. Suuri ero suppealla otoksella vaatii uutta testausta.

Tekevätkö Qwen ja Gemini erilaisia virheitä?

Kyllä, sillä vuoden 2026 World Cup -sitaattitestissämme molemmat mallit tekivät vähintään yhden sellaisen valinnan, jota muut mallit eivät tehneet, ja pisteet tuskin liikahtivat. Gemini käänsi erään Mbappén ilmaisun muotoon ”with each game” ja käänsi Wirtzin sitaatin sanasta sanaan, kun taas Qwen antoi eriävän tulkinnan Scalonin sitaatista. Pisteet näissä tapauksissa asettuivat välille 9,2 ja 9,5.

Yksityiskohdat ovat peräisin World Cup -sitaattitestistämme. Mbappén tulevaisuuteen katsomista koskevassa sitaatissa muut mallit säilyttivät sanan ”match”, kun taas Gemini kirjoitti ”with each game”, mikä oli pieni tyylilajin horjahdus ja sai tuloksen 9,4. Wirtzin sitaatissa Gemini käänsi ilmauksen sanasta sanaan ja muutti merkitystä, saaden niin ikään tuloksen 9,4. Scalonin sitaatissa useimmat mallit päätyivät samaan tulkintaan, kun taas Qwen kirjoitti ”that is what matters” ja sai tuloksen 9,4. Mbappén taktisessa sitaatissa Claude ja DeepSeek valitsivat brittiläisen jalkapalloenglannin, kun taas Gemini, Qwen ja muut valitsivat amerikanenglannin, ja Qwen sai tuloksen 9,2, joka oli muita heikompi.

Pidän näitä pieninä tottumuksina. Geminin esimerkit liittyvät tyylilajiin ja sanatarkkaan ilmaisuun. Qwenin esimerkit koskevat sitä, mikä tulkinta lauseesta valitaan. Neljä esimerkkiä on liian vähän säännönmukaisuuden vahvistamiseen, mutta ne osoittavat, millaisia eroja yksittäinen pistemäärä kätkee.

Mikä Qwen-malli on paras kääntämiseen?

En voi sanoa sitä datamme perusteella, sillä MachineTranslation.comin pisteet käsittelevät Qweniä yhtenä mallina ilman versiotunnistetta. Alibaban Qwen3.8-perhe saapui Hugging Faceen elokuussa 2026, joten versioita on nyt useita, eivätkä tämän artikkelin pisteet erottele niitä toisistaan.

Haluaisin eritellä tämän versioittain, mutta se ei ole vielä mahdollista. Alustatason luku saattaa muodostua keskiarvona useammasta Qwen-versiosta, jotka olivat käytössä tarkastelujaksolla. Jos valitset Qwen-versioiden välillä jotakin projektia varten, suosittelen vertailemaan niitä otoksella omaa tekstiäsi.

Mitä vaihtoehtoja Geminille on kääntämiseen?

ChatGPT, Claude, DeepSeek, Qwen, Grok ja Mistral AI toimivat kaikki MachineTranslation.comissa, ja sopiva vaihtoehto riippuu kieliparista. Tuloksissamme ajalta 12. heinäkuuta ja 8. elokuuta 2026 väliltä Qwen on korkeintaan 0,1 pisteen päässä Geministä tai sen edellä 24 parissa 27:stä englantiin käännettäessä. Mistral AI:n ranskan kielen tuloksemme osoittavat sen ranskan ja englannin välisen keskiarvon olevan 0,40 pistettä Geminin yläpuolella.

Jos vaihtoehtosi on ChatGPT, vastaus vaihtelee myös kieliparin mukaan. Julkaistussa espanjan ja englannin välisessä erittelyssämme Gemini voitti 31 % segmenteistä ja ChatGPT voitti 21 %. Ranskan osalta kumpikaan malli ei voita molempiin suuntiin. Koska valinta vaihtelee parin mukaan, MachineTranslation.com ei valitse vain yhtä vaihtoehtoa. Se ajaa niitä rinnakkain.

Ehdotukseni on aloittaa kieliparista ja suunnasta, ja tarkastella sitten, mikä vaihtoehto sopii.

Miten MachineTranslation.com näyttää kohdat, joissa Qwen ja Gemini ovat eri mieltä?

MachineTranslation.com ajaa molemmat mallit jokaiselle käännökselle ja näyttää, missä kohdissa mallit ovat samaa mieltä ja missä niiden näkemykset eroavat toisistaan. Yksimielisyyspaneeli ilmoittaa, kuinka monta tekoälymallia työskenteli tekstin parissa, yhtä mieltä olevien osuuden, kuinka monesta termistä oli erimielisyyttä ja kuinka nopeasti konsensus muodostui.