Qwen vs ChatGPT: Ποιο μοντέλο AI μεταφράζει καλύτερα;

Η τρέχουσα γενιά του ChatGPT και το Qwen αποτελούν και τα δύο μέρος της ομάδας μοντέλων που εκτελεί το MachineTranslation.com σε κάθε μετάφραση, και όχι δύο εξωτερικούς ανταγωνιστές που κρίνονται σε σχέση με την ίδια την πλατφόρμα. Εάν εκτελέσετε το ίδιο κείμενο και στα δύο σε πανομοιότυπα τμήματα, το ChatGPT κερδίζει το μεγαλύτερο μερίδιο γλωσσικών ζευγών συνολικά. Χωρίστε τα αποτελέσματα ανά κατεύθυνση και η εικόνα περιορίζεται σημαντικά σε ένα συγκεκριμένο σημείο: στη μετάφραση προς τα αγγλικά, όπου τα δύο μοντέλα είναι σχεδόν ισόπαλα.

Υπάρχει κάποιο AI καλύτερο από το ChatGPT για μετάφραση;

Το γενικό ενδιαφέρον για εναλλακτικές λύσεις αντί του ChatGPT έχει αυξηθεί καθώς τα ανταγωνιστικά μοντέλα έχουν βελτιωθεί, αν και οι λόγοι ποικίλλουν ευρέως ανάλογα με την περίπτωση χρήσης και δεν υπάρχει μία ενιαία εξήγηση. Ειδικά για τη μετάφραση, το πιο χρήσιμο ερώτημα είναι ποιο μοντέλο αποδίδει πραγματικά καλύτερα σε ένα συγκεκριμένο γλωσσικό ζεύγος, ένα ερώτημα που μπορεί να ελεγχθεί εμπράκτως και δεν αποτελεί ζήτημα υποκειμενικής άποψης.

Κατά τις τελευταίες 28 ημέρες επισκεψιμότητας του MachineTranslation.com, και τα δύο μοντέλα μετέφρασαν πανομοιότυπο κείμενο προέλευσης σε 98 γλωσσικά ζεύγη. Το ChatGPT σημείωσε υψηλότερη βαθμολογία σε 77 από αυτά τα ζεύγη· το Qwen σημείωσε υψηλότερη βαθμολογία σε 21. Ο σταθμισμένος μέσος όρος στα αντίστοιχα αποτελέσματα τοποθετεί το ChatGPT στο 9.10 στα 10 και το Qwen στο 8.98, μια πραγματική αλλά μέτρια διαφορά κατά μέσο όρο, η οποία αποκρύπτει έναν πολύ πιο έντονο διαχωρισμό όταν ληφθεί υπόψη η κατεύθυνση.

Γιατί η διαφορά σχεδόν εξαφανίζεται κατά τη μετάφραση προς τα αγγλικά;

Τα δεδομένα δείχνουν πού συμβαίνει ο διαχωρισμός, όχι το γιατί. Αυτό που είναι σαφές είναι ότι η ανταγωνιστικότητα του Qwen δεν κατανέμεται ομοιόμορφα. Από τα 27 ζεύγη όπου η γλώσσα-στόχος είναι τα αγγλικά, το Qwen κερδίζει 13, ουσιαστικά σαν ρίψη νομίσματος. Από τα υπόλοιπα 71 ζεύγη, τόσο για μετάφραση από τα αγγλικά όσο και μεταξύ δύο μη αγγλικών γλωσσών, το ChatGPT κερδίζει 63, δηλαδή το 89% αυτών. Μια ομάδα που υποθέτει ότι η απόδοση του Qwen προς τα αγγλικά μεταφέρεται και στις μεταφράσεις από τα αγγλικά ή μεταξύ μη αγγλικών γλωσσών, θα έβγαζε το λάθος συμπέρασμα από τη λάθος κατεύθυνση.

Είναι το Qwen κινεζική εταιρεία και έχει αυτό σημασία για τη μετάφραση;

Το Qwen έχει αναπτυχθεί από την Alibaba Cloud, με έδρα την Κίνα. Από μόνο του, αυτό δεν αλλάζει το πόσο καλά μεταφράζει το μοντέλο μια δεδομένη πρόταση· τα παραπάνω δεδομένα αντικατοπτρίζουν την πραγματική ποιότητα των αποτελεσμάτων, ανεξάρτητα από το πού έχει κατασκευαστεί ένα μοντέλο. Εκεί που μπορεί να έχει σημασία είναι η διαχείριση δεδομένων: οι επιχειρήσεις που μεταφράζουν ρυθμιζόμενο ή ευαίσθητο περιεχόμενο (συμβόλαια, ιατρικά αρχεία, προσωπικά δεδομένα) θα πρέπει να αντιμετωπίζουν το ζήτημα του πού επεξεργάζεται και αποθηκεύει αυτό το περιεχόμενο ένας πάροχος AI ως ένα πραγματικό ζήτημα δέουσας επιμέλειας, ανεξάρτητα από την ίδια την ποιότητα της μετάφρασης. Αυτό ισχύει για οποιονδήποτε πάροχο AI, όχι ειδικά για το Qwen, και είναι μέρος του λόγου για τον οποίο το MachineTranslation.com δημοσιεύει απευθείας τις δικές του πρακτικές διαχείρισης δεδομένων και ασφάλειας, αντί να αφήνει το ερώτημα αναπάντητο.

Είναι κάποιο από τα δύο μοντέλα πιο αξιόπιστο για νομικές και επιχειρηματικές μεταφράσεις;

Όχι με συνέπεια, και η απόκλιση δεν αφορά πάντα το ποιο μοντέλο συγκεντρώνει υψηλότερη βαθμολογία. Οι δοκιμές του MachineTranslation.com σε πραγματική γλώσσα συμβάσεων εντόπισαν δύο ξεχωριστές περιπτώσεις που αξίζει να γνωρίζετε πριν εμπιστευτείτε οποιοδήποτε από τα δύο μοντέλα σε νομικά κείμενα. Οι ιδιωματικές εκφράσεις κινούνται μερικές φορές προς την αντίθετη κατεύθυνση: μια ξεχωριστή απευθείας σύγκριση διαπίστωσε ότι το ChatGPT μετέφρασε έναν γερμανικό ιδιωματισμό κυριολεκτικά και λανθασμένα, ενώ το Qwen βρήκε τη σωστή ιδιωματική σημασία—μια υπενθύμιση ότι το συνολικό προβάδισμα κανενός από τα δύο μοντέλα στα συγκεντρωτικά δεδομένα δεν ισχύει πρόταση προς πρόταση.

Κανένα από τα δύο μοντέλα δεν κερδίζει με συνέπεια σε αυτές τις τρεις περιπτώσεις: η συγκεντρωτική βαθμολογία ενός μεμονωμένου μοντέλου δεν προβλέπει τη συμπεριφορά του σε έναν συγκεκριμένο όρο ή φράση. Αυτός είναι επίσης ο λόγος για τον οποίο τα νομικά και συμβατικά κείμενα επωφελούνται από ένα στάδιο ανθρώπινης επαλήθευσης, ανεξάρτητα από το ποιο μοντέλο παρήγαγε το αρχικό προσχέδιο.

Τι ισχύει για την κάλυψη γλωσσών;

Ούτε το ChatGPT ούτε το Qwen δημοσιεύουν μια επαληθευμένη, ανεξάρτητα επιβεβαιωμένη λίστα γλωσσικών ζευγών όπου η ποιότητα μετάφρασης μειώνεται. Και τα δύο είναι μοντέλα γενικής χρήσης με ευρεία πολυγλωσσική εκπαίδευση, κάτι που αποτελεί διαφορετικό ισχυρισμό από τη μετρημένη μεταφραστική απόδοση σε ένα συγκεκριμένο σύνολο γλωσσών. Το MachineTranslation.com δοκιμάζει και βαθμολογεί την ποιότητα μετάφρασης σε 330+ γλώσσες απευθείας, αντί να βασίζεται στη γενική γλωσσική ικανότητα ενός μοντέλου ως υποκατάστατο του πόσο καλά μεταφράζει στην πραγματικότητα.

Τι δεν πρέπει να επικολλάτε στο ChatGPT ή στο Qwen για επιχειρηματική μετάφραση;

Ούτε το ChatGPT ούτε το Qwen δημιουργήθηκαν ως αποκλειστική πλατφόρμα μετάφρασης, και η απευθείας επικόλληση ευαίσθητου επιχειρηματικού περιεχομένου σε μια διεπαφή συνομιλίας γενικής χρήσης ενέχει τα ίδια ερωτήματα διαχείρισης δεδομένων με την επικόλλησή του σε οποιοδήποτε άλλο καταναλωτικό εργαλείο AI: πού υποβάλλονται σε επεξεργασία τα δεδομένα εισόδου, εάν διατηρούνται και ποιος έχει πρόσβαση σε αυτά. Συμβόλαια, ιατρικά αρχεία, έγγραφα μετανάστευσης και οικονομικές καταστάσεις είναι ακριβώς το είδος περιεχομένου όπου αυτό το ερώτημα αξίζει να απαντηθεί πριν από τη μετάφραση, όχι μετά. Αυτός είναι ένας πραγματικός λόγος για τον οποίο μια εξειδικευμένη πλατφόρμα μετάφρασης με δημοσιευμένες, επαληθεύσιμες πρακτικές διαχείρισης δεδομένων αποτελεί μια διαφορετική πρόταση από μια διεπαφή συνομιλίας γενικής χρήσης, ανεξάρτητα από το ποιο μοντέλο βρίσκεται στη βάση του καθενός.

Πώς το MachineTranslation.com χρησιμοποιεί στην πραγματικότητα και τα δύο μοντέλα

Το MachineTranslation.com εκτελεί το ChatGPT, το Qwen και περισσότερα από 20 άλλα μοντέλα AI σε κάθε μετάφραση και, στη συνέχεια, εμφανίζει την έκδοση στην οποία συμφωνούν περισσότερο αυτά τα μοντέλα. Δεδομένου του πόσο έντονα διαφέρει η απόδοση του Qwen και του ChatGPT ανάλογα με την κατεύθυνση, η επιλογή ενός μοντέλου ως πάγιας προεπιλογής θα σήμαινε λανθασμένη πρόβλεψη σε ένα προβλέψιμο ποσοστό γλωσσικών ζευγών. Το ίδιο μοτίβο που εξαρτάται από την κατεύθυνση εμφανίζεται και στη σύγκριση Qwen εναντίον DeepSeek του MachineTranslation.com. Για την πλήρη εικόνα του τρόπου με τον οποίο δοκιμάζονται τα τρέχοντα μοντέλα μεταξύ τους, δείτε τις πλήρεις δοκιμές σύγκρισης μοντέλων του MachineTranslation.com.

Συχνές ερωτήσεις