July 8, 2024

Benchmarking prevodilački motori: Uporedna studija performansi i kvaliteta

Mnogi prevodilački motori nude različite nivoe performansi i kvaliteta. Ali koji bi trebalo da izaberete?

MachineTranslation.com je proučavao razne vrhunske mašinske prevodioce dostupne na našem agregatoru prevoda koji pokreće AI. Analizirali smo vodeće motore na osnovu ključnih metrika kako bismo pronašli najbolji balans brzine i tačnosti.

Vrhunski motori za mašinsko prevođenje koje smo pregledali su DeepL, Google, Chat GPT, Microsoft, Lingvanek, Modern MT, Roialflush, Niutrans i Grok.

Detaljno poređenje najboljih prevodilačkih motora

Naš agregator mašinskog prevođenja koji pokreće AI priku pio je opsežne podatke iz prevoda i interakcija korisnika. Pomoću ovih podataka analizirali smo dve ključne metrike: prosečne rezultate prevoda i vreme obrade.

Prosečne ocene prevodilačkih motora

Prosečna ocena je ključni pokazatelj kvaliteta prevoda koji proizvodi svaki motor. Rezultati dolaze iz povratnih informacija o prevedenim tekstovima, ocenjenih na osnovu jasnoće, koherentnosti i obima potrebnih izmena. Rezultati predstavljeni u ovom članku mogu se razlikovati i podložni su promenama na osnovu tekućih povratnih informacija i istraživanja.

Evo prosečnih rezultata za vodeće prevodilačke motore:

  • DeepL 8.38

  • Google 7.90

  • Chat GPT: 7.82

  • Microsoft 7.77

  • Lingvanek: 7.49

  • Moderna MT: 7.48

  • Roialflush: 6.54

  • Niutrans: 6.65

  • Grok: 6.66


Prosečni rezultati prevodilačkih motora

Ovaj grafikon ilustruje prosečne rezultate za svaki motor.

Na osnovu gornjeg grafikona, DeepL ima najvišu prosečnu ocenu, pokazujući vrhunski kvalitet prevoda među jedanaest mašinskih prevodioca. Google i Chat GPT takođe rade dobro, a Microsoft ih pažljivo prati.

Lingvanek i Modern MT su umereni izvođači, pružajući zadovoljavajući kvalitet, ali ne tako visok kao najbolji izvođači. Roialflush, Niutrans i Grok imaju najniže prosečne ocene, što znači da njihovi prevodi često zahtevaju više izmena.

Opširnije: Jezici podržani popularnim aparatima za mašinsko prevođenje

Vreme obrade različitih motora

Vreme obrade je ključna metrika koja odražava efikasnost prevodilačkog motora. Brže vreme obrade je od suštinskog značaja za prevode u realnom vremenu. Evo prosečnih vremena obrade za svaki motor:

  • Google 0.22 sekundi

  • Microsoft 0.26 sekundi

  • Amazon: 0.33 sekundi

  • Moderna MT: 0.36 sekundi

  • Lingvanek: 0.45 sekundi

  • DeepL 0.51 sekundi

  • Chat GPT: 1,12 sekundi

  • Niutrans: 1.47 sekundi

  • Roialflush: 1.83 sekundi

Vreme obrade različitih motora



Ovaj grafikon prikazuje prosečno vreme obrade svakog motora za mašinsko prevođenje.


Iz gornjeg grafikona, Google, Microsoft i Amazon su najbrži, što ih čini idealnim za brze prevode. Moderni MT, Lingvanek i DeepL imaju umerene brzine.


ChatGPT, Niutrans i Roialflush su najsporiji, što može biti nedostatak u vremenski osetljivim situacijama.

Korelacija između vremena procesa i rezultata

Matrica toplotne mape


Ovaj grafikon ne pokazuje korelaciju između brzine prevođenja i kvaliteta.

Da bismo videli da li postoji veza između vremena obrade i kvaliteta prevoda, analizirali smo korelaciju između ove dve metrike. Gornji grafikon prikazuje koeficijent korelacije od oko -0,093, što ukazuje na veoma slabu negativnu korelaciju. To znači da brže vreme prevođenja ne utiče nužno na kvalitet, a dve metrike su uglavnom nezavisne.

Uvid u analizu povratnih informacija

Povratne informacije nude dragocene uvide u kvalitet prevoda. Evo najčešćih vrsta povratnih informacija iz agregatora MachineTranslation.com i njihove učestalosti:

  1. Uglavnom jasno: Trebalo je samo neke revizije - 76.877 instanci

  2. Skoro glatko: Potrebna su opcionalna podešavanja - 64. 001 instanca

  3. Prilično rafinirano: Mogu imati koristi od laganih izmena - 55.030 inst anci

  4. Veoma nedosledno: Zahtevaju značajne izmene - 32.301 instanca

  5. Zahteva temeljno uređivanje: Zahteva temeljno uređivanje - 27.697 instanci

Pored pomenutih uobičajenih vrsta povratnih informacija, dalje smo analizirali kako bismo ponudili tačniji prikaz kvaliteta prevoda iz našeg agregatora koji pokreće AI, kao što je prikazano na donjem grafikonu.

Uvid u analizu povratnih informacija


Naš agregator prevoda koji pokreće AI proizvodi „uglavnom jasan“ izlaz na osnovu svoje interne analize povratnih informacija.

Gornji grafikon prikazuje internu analizu povratnih informacija našeg agregatora koji pokreće AI za prevedeni sadržaj. Najviši prosečni rezultati su za „Izvanredno jasno“, „Skoro glatko“ i „Prilično rafinirano“.


„Izvanredno jasno“ ima najvišu prosečnu ocenu, što ukazuje na minimalnu potrebu za uređivanjem. „Skoro glatko“ i „Sasvim rafinirano“ imaju sličnu prosečnu ocenu od oko 7,5-8, što ukazuje na dobar kvalitet sa potrebnim manjim poboljšanjima. 


U međuvremenu, najniži rezultati su za „Visoko nedosledno“ i „Zahteva temeljno uređivanje“, sa prosečnim rezultatima ispod 5, što ukazuje na značajne probleme sa prevođenjem.


Opširnije: Najbolji aparati za mašinsko prevođenje po jezičkom paru

Zaključak

Naša studija identifikuje snage i slabosti različitih prevodilačkih motora. Nalazi o mašinskim prevodiocima u ovom članku mogu se promeniti kako nastavljamo da istražujemo i razvijamo naš agregator koji pokreće AI.


Ovi nalazi mogu pomoći preduzećima i pojedincima da odaberu najbolji prevodilački mehanizam na osnovu svojih specifičnih potreba, bilo da naglašavaju brzinu, kvalitet ili ravnotežu oboje. Ako želite da isprobate motore za mašinsko prevođenje pomenute u ovom članku, posetite našu početnu stranicu. Takođe se možete prijaviti za naš besplatni plan pretplate, koji vam daje 1500 kredita mesečno za veći pristup.