Vertimo variklių lyginamoji analizė: Lyginamasis našumo ir kokybės tyrimas

Daugelis vertimo variklių siūlo skirtingą našumo ir kokybės lygį. Bet kurį iš jų pasirinkti?

MachineTranslation.com ištyrė įvairius geriausius mašininius vertėjus, kuriuos galima rasti mūsų dirbtinio intelekto vertimų kaupiklyje. Išanalizavome pirmaujančius variklius remdamiesi pagrindiniais rodikliais, kad rastume geriausią greičio ir tikslumo balansą.

Populiariausi mašininio vertimo varikliai, kuriuos peržiūrėjome, yra „DeepL“, „Google“, „Chat GPT“, „Microsoft“, „Lingvanex“, „Modern MT“, „Royalflush“, „Niutrans“ ir „Groq“.

Išsamus geriausių vertimo variklių palyginimas

Mūsų dirbtinis intelektas mašininio vertimo agregatorius surinko daug duomenų iš naudotojų vertimų ir sąveikų. Turėdami šiuos duomenis išanalizavome dvi pagrindines metrikas: vidutinius vertimo balus ir apdorojimo laiką.

Vidutiniai vertimo variklių balai

Vidutinis balas yra pagrindinis kiekvieno variklio sukurto vertimo kokybės rodiklis. Balai gaunami iš atsiliepimų apie išverstus tekstus, įvertintus pagal aiškumą, nuoseklumą ir reikalingų redagavimo mastą. Šiame straipsnyje pateikti rezultatai gali skirtis ir gali keistis, atsižvelgiant į nuolatinius atsiliepimus ir tyrimus.

Čia pateikiami pirmaujančių vertimo variklių vidutiniai balai:

• DeepL: 8.38

• Google: 7.90

• Pokalbių GPT : 7.82

• Microsoft: 7.77

• Lingvanex : 7.49

• Šiuolaikinis MT : 7.48

• Royalflush : 6.54

• Niutrans : 6.65

• Groq : 6.66

Vidutiniai vertimo variklių balai

Šioje diagramoje parodytas vidutinis kiekvieno variklio balas.

Remiantis aukščiau pateikta diagrama, DeepL turi aukščiausią vidutinį balą, rodantį aukščiausią vertimo kokybę tarp vienuolikos mašininių vertėjų. „Google“ ir „Chat GPT“ taip pat gerai veikia, o „Microsoft“ labai gerai seka.

„Lingvanex“ ir „Modern MT“ yra nuosaikūs, užtikrinantys patenkinamą kokybę, tačiau ne tokie aukšti kaip geriausi. „Royalflush“, „Niutrans“ ir „Groq“ balų vidurkis yra žemiausias, o tai reiškia, kad jų vertimus dažnai reikia taisyti daugiau.

Skaityti daugiau: Populiarių mašininio vertimo modulių palaikomos kalbos

Įvairių variklių apdorojimo laikas

Apdorojimo laikas yra labai svarbus rodiklis, atspindintis vertimo variklio efektyvumą. Greitesnis apdorojimo laikas yra būtinas vertimams realiuoju laiku. Čia yra vidutinis kiekvieno variklio apdorojimo laikas:

• Google: 0,22 sekundės

• Microsoft: 0,26 sekundės

• Amazon : 0,33 sekundės

• Šiuolaikinis MT : 0,36 sekundės

• Lingvanex : 0,45 sekundės

• DeepL: 0,51 sekundės

• Pokalbių GPT : 1,12 sekundės

• Niutrans : 1,47 sekundės

• Royalflush : 1,83 sekundės

Įvairių variklių apdorojimo laikas

Šioje diagramoje parodytas vidutinis kiekvieno mašininio vertimo variklio apdorojimo laikas.

Aukščiau pateiktoje diagramoje „Google“, „Microsoft“ ir „Amazon“ yra greičiausi, todėl jie idealiai tinka greitam vertimui. Šiuolaikiniai MT, Lingvanex ir DeepL turi vidutinį greitį.

„ChatGPT“, „Niutrans“ ir „Royalflush“ yra lėčiausi, o tai gali būti trūkumas laiko atžvilgiu jautriose situacijose.

Koreliacija tarp proceso laiko ir balo

Šilumos žemėlapio matrica

Šioje diagramoje nėra jokio ryšio tarp vertimo greičio ir kokybės.

Norėdami sužinoti, ar yra ryšys tarp apdorojimo laiko ir vertimo kokybė , išanalizavome koreliaciją tarp šių dviejų metrikų. Aukščiau pateiktoje diagramoje parodytas maždaug -0,093 koreliacijos koeficientas, o tai rodo labai silpną neigiamą koreliaciją. Tai reiškia, kad greitesnis vertimo laikas nebūtinai turi įtakos kokybei, o dvi metrikos dažniausiai yra nepriklausomos.

Atsiliepimų analizės įžvalgos

Atsiliepimai suteikia vertingų įžvalgų apie vertimo kokybę. Toliau pateikiami dažniausiai pasitaikantys atsiliepimų tipai iš MachineTranslation.com agregatoriaus ir jų dažnis:

1. Dažniausiai aišku: Reikėjo tik šiek tiek pataisymų - 76 877 atvejai

2. Beveik sklandžiai: Reikalingi pasirinktiniai pataisymai – 64 001 atvejis

3. Gana rafinuotas: Gali būti naudingi lengvi pakeitimai – 55 030 atvejų

4. Labai nenuoseklus: Reikalingi dideli pakeitimai – 32 301 atvejis

5. Reikia kruopštaus redagavimo: Tai reikalauja kruopštaus redagavimo - 27 697 atvejai

Be įprastų paminėtų atsiliepimų tipų, toliau analizavome, kad galėtume tiksliau pateikti vertimo kokybę iš mūsų dirbtinio intelekto agregatoriaus, kaip parodyta toliau pateiktoje diagramoje.

Atsiliepimų analizės įžvalgos

Mūsų AI pagrįstas vertimų kaupiklis sukuria „daugiausia aiškią“ išvestį, remdamasis vidine grįžtamojo ryšio analize.

Aukščiau pateiktoje diagramoje rodoma mūsų dirbtinio intelekto agregatoriaus vidinė grįžtamojo ryšio analizė apie išverstą turinį. Aukščiausią balų vidurkį gavo už „Išskirtinai aiškus“, „Beveik sklandus“ ir „Gana rafinuotas“.

„Išskirtinai aiškus“ turi aukščiausią vidutinį balą, o tai rodo minimalų redagavimo poreikį. „Beveik sklandus“ ir „Gana rafinuotas“ turi panašų vidutinį balą – maždaug 7,5–8, o tai rodo gerą kokybę, tačiau reikia nedidelių patobulinimų. 

Tuo tarpu žemiausius balus gavo už „Labai nenuoseklus“ ir „Reikalingas kruopštus redagavimas“, o vidutiniai balai mažesni nei 5, o tai rodo reikšmingas vertimo problemas.

Skaityti daugiau: Geriausi mašininio vertimo moduliai kiekvienai kalbų porai

Išvada

Mūsų tyrimas nustato skirtingų vertimo sistemų stipriąsias ir silpnąsias puses. Šiame straipsnyje pateiktos išvados apie mašininius vertėjus gali pasikeisti, nes toliau tyrinėsime ir plėtosime savo dirbtinio intelekto agregatorių.

Šios išvados gali padėti įmonėms ir asmenims pasirinkti geriausią vertimo variklį, atsižvelgiant į jų konkrečius poreikius, pabrėžiant greitį, kokybę ar abiejų balansą. Jei norite išbandyti šiame straipsnyje minimus automatinio vertimo variklius, apsilankykite mūsų pagrindiniame puslapyje. Taip pat galite užsiregistruoti pas mus nemokamas prenumeratos planas , kuris suteikia 1500 kreditų kas mėnesį, kad gautumėte daugiau prieigos.