Qwen vs ChatGPT: Model AI manakah yang menterjemah dengan lebih baik?

Generasi semasa ChatGPT dan Qwen kedua-duanya merupakan sebahagian daripada kumpulan model yang dijalankan oleh MachineTranslation.com pada setiap terjemahan, bukannya dua pencabar luar yang dinilai terhadap platform itu sendiri. Jalankan teks yang sama melalui kedua-duanya pada segmen yang serupa, dan ChatGPT memenangi bahagian pasangan bahasa yang lebih besar secara keseluruhan. Bahagikan keputusan mengikut arah, dan gambarannya menyempit secara ketara di satu aspek khusus: menterjemah ke dalam bahasa Inggeris, di mana kedua-duanya hampir setara.

Adakah terdapat AI yang lebih baik daripada ChatGPT untuk terjemahan?

Minat umum terhadap alternatif kepada ChatGPT semakin meningkat seiring dengan peningkatan model-model pesaing, walaupun puncanya berbeza-beza mengikut kes penggunaan dan tiada satu penjelasan tunggal. Khusus untuk terjemahan, soalan yang lebih berguna ialah model mana yang sebenarnya berprestasi lebih baik pada pasangan bahasa tertentu, satu persoalan yang boleh diuji berbanding sekadar soal sentimen.

Sepanjang trafik 28 hari terakhir di MachineTranslation.com, kedua-dua model telah menterjemah teks sumber yang serupa merentasi 98 pasangan bahasa. ChatGPT memperoleh skor lebih tinggi dalam 77 daripada pasangan tersebut; Qwen memperoleh skor lebih tinggi dalam 21 pasangan. Purata wajaran merentasi output yang dipadankan meletakkan ChatGPT pada 9.10 daripada 10 dan Qwen pada 8.98, satu jurang purata yang nyata tetapi sederhana yang menyembunyikan perbezaan yang jauh lebih ketara apabila faktor arah terjemahan diambil kira.

Mengapakah jurang tersebut hampir lenyap apabila menterjemah ke bahasa Inggeris?

Data menunjukkan di mana perbezaan itu berlaku, bukan puncanya. Apa yang jelas ialah daya saing Qwen tidak tersebar secara sekata. Daripada 27 pasangan yang bahasa sasarannya ialah bahasa Inggeris, Qwen memenangi 13 pasangan, pada dasarnya seperti melambung syiling. Daripada baki 71 pasangan, baik terjemahan daripada bahasa Inggeris mahupun antara dua bahasa bukan Inggeris, ChatGPT memenangi 63 pasangan, atau 89% daripadanya. Pasukan yang menganggap prestasi Qwen ke bahasa Inggeris turut terpakai untuk terjemahan ke luar atau pasangan bukan bahasa Inggeris akan membuat kesimpulan yang salah daripada arah yang salah.

Adakah Qwen sebuah syarikat China, dan adakah perkara itu penting untuk terjemahan?

Qwen dibangunkan oleh Alibaba Cloud, yang berpangkalan di China. Secara asasnya, perkara itu tidak mengubah sejauh mana model tersebut menterjemahkan sesuatu ayat, data di atas mencerminkan kualiti output sebenar tanpa mengira di mana model tersebut dibangunkan. Perkara yang boleh membezakannya ialah pengendalian data: perniagaan yang menterjemah kandungan yang dikawal selia atau sensitif (kontrak, rekod perubatan, maklumat peribadi) harus menganggap persoalan tentang tempat penyedia AI memproses dan menyimpan kandungan tersebut sebagai item usaha wajar yang sebenar, berasingan daripada kualiti terjemahan itu sendiri. Hal ini terpakai kepada mana-mana penyedia AI, bukan khusus untuk Qwen, dan ini adalah salah satu sebab MachineTranslation.com menerbitkan amalan pengendalian data dan keselamatannya sendiri secara langsung dan bukannya membiarkan persoalan tersebut tidak terjawab.

Adakah salah satu model lebih boleh diharap untuk terjemahan undang-undang dan perniagaan?

Tidak secara konsisten, dan perbezaan ini bukan sentiasa mengenai model mana yang mendapat skor lebih tinggi. Ujian MachineTranslation.com merentasi bahasa kontrak sebenar mendapati dua kes berasingan yang wajar diketahui sebelum mempercayai mana-mana model untuk teks undang-undang. Bahasa idiomatik kadangkala berlaku sebaliknya: satu ujian perbandingan langsung yang berasingan mendapati ChatGPT menterjemah simpulan bahasa Jerman secara harfiah dan tidak tepat manakala Qwen menemui maksud idiomatik yang betul, satu peringatan bahawa kelebihan keseluruhan mana-mana model dalam data agregat tidak semestinya benar bagi setiap ayat.

Tiada satu pun model yang menang secara konsisten merentasi ketiga-tiga kes ini: skor agregat sesuatu model tidak dapat meramalkan prestasinya bagi mana-mana istilah atau frasa tertentu. Ini juga sebabnya mengapa teks undang-undang dan kontrak memerlukan langkah pengesahan manusia tanpa mengira model mana yang menghasilkan draf pertama.

Bagaimana pula dengan liputan bahasa?

Sama ada ChatGPT mahupun Qwen tidak menerbitkan senarai pasangan bahasa yang disahkan dan diperakui secara bebas yang menunjukkan penurunan kualiti terjemahan. Kedua-duanya merupakan model tujuan umum dengan latihan berbilang bahasa yang luas, iaitu satu dakwaan yang berbeza daripada prestasi terjemahan yang diukur merentasi set bahasa tertentu. MachineTranslation.com menguji dan menilai kualiti terjemahan merentasi lebih 330 bahasa secara langsung, berbanding bergantung pada keupayaan bahasa umum sesuatu model sebagai pengganti untuk sejauh mana ia menterjemah dengan baik.

Apakah yang tidak patut anda tampal ke dalam ChatGPT atau Qwen untuk terjemahan perniagaan?

Sama ada ChatGPT mahupun Qwen tidak dibina sebagai platform terjemahan khusus, dan menampal kandungan perniagaan yang sensitif secara terus ke dalam antara muka sembang tujuan umum membawa persoalan pengendalian data yang sama seperti menampalnya ke dalam mana-mana alat AI pengguna yang lain: di mana input diproses, sama ada ia disimpan, dan siapa yang boleh mengaksesnya. Kontrak, rekod perubatan, dokumen imigresen dan penyata kewangan adalah contoh kandungan di mana persoalan itu wajar dijawab sebelum menterjemah, bukan selepasnya. Ini adalah sebab kukuh mengapa platform terjemahan khusus dengan amalan pengendalian data yang diterbitkan dan boleh disahkan merupakan tawaran yang berbeza daripada antara muka sembang tujuan umum, tidak kira model mana yang mendasarinya.

Bagaimana MachineTranslation.com sebenarnya menggunakan kedua-dua model

MachineTranslation.com menjalankan ChatGPT, Qwen dan lebih daripada 20 model AI lain untuk setiap terjemahan, kemudian memaparkan versi yang paling dipersetujui oleh model-model tersebut. Memandangkan betapa ketaranya perbezaan prestasi Qwen dan ChatGPT mengikut arah terjemahan, memilih satu model sebagai lalai tetap bermakna membuat tekaan yang salah pada sebahagian pasangan bahasa yang boleh diramal. Corak bergantung arah yang sama turut ditunjukkan dalam perbandingan Qwen vs DeepSeek oleh MachineTranslation.com. Untuk gambaran penuh tentang bagaimana model semasa diuji antara satu sama lain, lihat ujian perbandingan model penuh MachineTranslation.com.

Soalan lazim