Sama AI, model berbeza — dan terjemahannya tidak boleh lebih berbeza

Saya telah menjalankan ujian dalaman terhadap sesuatu yang tidak cukup kita bincangkan dalam industri terjemahan: bukan sama ada sistem AI yang berbeza menterjemah secara berbeza, tetapi sama ada versi AI yang sama menterjemah secara berbeza — dan sejauh mana.

Minggu lalu saya menjalankan satu idiom Sepanyol melalui lima versi ChatGPT secara serentak di platform ujian dalaman MachineTranslation.com. Apa yang kembali mengejutkan saya.

Dua versi menghasilkan terjemahan yang, benar-benar, tidak masuk akal dalam Bahasa Inggeris. Tiga versi menghasilkan terjemahan idiomatik yang betul. Dan ketiga-tiga yang betul tidak bersetuju antara satu sama lain. Kesemuanya lima adalah

ChatGPT. Semua lima adalah OpenAI. AI yang sama, model yang berbeza — dan hasilnya sangat berbeza.

Saya berkongsi ini sekarang kerana saya fikir ia penting, bukan kerana saya mempunyai jawapan yang jelas. Saya tidak. Tetapi pemerhatian itu cukup menarik untuk diterbitkan.

Jadual kandungan

• Ujian: Satu simpulan bahasa Sepanyol, lima versi GPT
• Mengapa simpulan bahasa ini dijadikan kes ujian yang baik
• Apa yang memisahkan makna literal dan simpulan bahasa memberitahu kita tentang cara model ini dilatih
• Implikasi yang nampaknya tiada siapa pun bincangkan
• Malah terjemahan yang betul pun tidak sependapat antara satu sama lain
• Apa yang saya belum tahu lagi
• Dua persoalan kajian yang patut direnungkan

Ujian: Satu simpulan bahasa Sepanyol, lima versi GPT

Frasa yang saya uji ialah llevarse el gato al agua.

Berikut ialah apa yang dihasilkan oleh setiap versi:

Frasa itu bermaksud mencapai sesuatu yang sukar menentang kemungkinan, untuk menjayakan kemenangan yang sukar. Ia tiada kena mengena dengan kucing atau air. Terjemahan literal bukanlah terjemahan. Ia adalah transkripsi perkataan demi perkataan frasa yang gagal dikenali oleh model sebagai idiom.

GPT-4o-MINI dan GPT-4.1-NANO menghasilkan output yang sama. Tidak serupa, identik. Wawasan Terjemahan kami menandai ini secara langsung: GPT-4.1-nano dan GPT-4o-mini berkongsi terjemahan yang sama, menekankan tafsiran literal berbanding makna idiomatik.

GPT-4.1-MINI, GPT-5.4-MINI, dan GPT-5.4 masing-masing menghasilkan sesuatu yang boleh dikenali sebagai betul — tetapi tidak sama antara satu sama lain.

Mengapa idiom ini menjadikan kes ujian yang baik

Saya mahu tepat tentang mengapa llevarse el gato al agua adalah input ujian yang berguna dan bukannya yang dipilih secara terpilih.

Ia adalah idiom yang mantap. Ia muncul dalam kesusasteraan, kewartawanan, dan pertuturan seharian. Ia tidak sukar. Mana-mana model yang dilatih pada korpus teks Sepanyol yang munasabah sepatutnya telah menemuinya. Soalan bukanlah sama ada model itu telah melihat frasa tersebut. Soalan ialah apa yang dilakukannya dengan itu.

Mod kegagalan terburuk dalam terjemahan idiom bukanlah menghasilkan terjemahan yang buruk ‎. Ia menghasilkan terjemahan literal yang kelihatan boleh diterima oleh seseorang yang tidak tahu bahasa sasaran.

To carry the cat to the water adalah bahasa Inggeris yang betul secara tatabahasa. Ia terbentuk dengan baik. Kedengarannya seperti sesuatu yang boleh membawa maksud tertentu. Seorang pengguna yang tidak berbahasa Sepanyol mungkin membacanya, mengangguk, dan berlalu — tanpa pernah mengetahui makna aslinya hilang sama sekali.

Itulah kegagalan yang saya ambil berat. Bukan kesilapan yang jelas. Yang tidak kelihatan.

Apa yang memisahkan literal-kepada-idiomatik memberitahu kita tentang bagaimana model ini dilatih

Corak di sini bukan rawak. Kedua-dua model yang menghasilkan terjemahan literal (GPT-4o-MINI dan GPT-4.1-NANO) adalah model yang lebih kecil, lebih ringan yang dioptimumkan untuk kecekapan kelajuan dan kos. Ketiga-tiga model yang menghasilkan terjemahan idiomatik (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) mewakili generasi atau skala parameter yang berbeza.

Ini menunjukkan sesuatu yang saya rasa kurang diterokai: kecekapan idiomatik dalam terjemahan berskala dengan kapasiti model dengan cara yang tidak kelihatan dalam penanda aras umum.

Penanda aras bahasa umum menguji penaakulan, pengetahuan, pengekodan, matematik. Mereka biasanya tidak menguji sama ada model boleh mengenal pasti bahawa hujan lebat bukan tentang keadaan cuaca, atau bahawa llevarse el gato al agua bukan tentang menghidratkan kucing. Idiom duduk di persimpangan pengetahuan budaya, kontekstual inferens, dan pengecaman corak — dan persimpangan itu nampaknya memerlukan ambang kapasiti model yang model yang lebih kecil tidak sentiasa melepasi.

Apa yang saya tidak dakwa: bahawa model yang lebih besar sentiasa penterjemah yang lebih baik ‎. Saya tidak mempunyai bukti untuk itu sebagai peraturan umum. Apa yang saya perhatikan:bahawa untuk kandungan idiomatik secara khusus, jurang versi dalam keluarga adalah lebih besar daripada yang saya jangkakan.

Implikasi yang nampaknya tiada siapa yang bercakap tentangnya

Kebanyakan pengguna yang menggunakan alat terjemahan AI tidak tahu versi AI mana yang mereka gunakan. Mereka membuka produk, memilih pasangan bahasa , dan mendapatkan output. Penghalaan model tidak kelihatan oleh mereka.

Ini penting pada skala besar. MachineTranslation.com memproses lebih daripada ratusan ribu tugasan terjemahan Inggeris-ke-Sepanyol dalam tempoh 90 hari sahaja. Jika sebahagian besar daripada pekerjaan tersebut menyentuh kandungan idiomatik (salinan pemasaran, bahasa undang-undang, teks sastera, komunikasi kasual) dan alat yang mengarahkan pekerjaan tersebut menghalakan pengguna kepada model yang lebih kecil tanpa pengetahuan mereka, maka membawa kucing ke air muncul dalam output sebenar, dalam dokumen sebenar, untuk orang sebenar yang mempercayai hasilnya.

Industri terjemahan telah menghabiskan bertahun-tahun membandingkan pembekal AI. DeepL berbanding Google. Claude berbanding ChatGPT. Perbandingan tersebut berguna ‎. Tetapi dalam satu pembekal, jurang versi mungkin sama pentingnya — dan ia adalah jurang yang kebanyakan rangka kerja perbandingan tidak ukur kerana mereka tidak menguji pada peringkat versi model.

Apabila seseorang berkata Saya menggunakan ChatGPT untuk terjemahan, ayat itu tidak cukup spesifik untuk bermakna. ChatGPT yang mana? Nano? 4o-mini? ‎4.1-mini? 5.4? Jawapan itu mengubah output dengan cara yang bukan remeh, sekurang-kurangnya untuk kandungan idiomatik.

Malah terjemahan yang betul pun tidak bersetuju antara satu sama lain

Inilah bahagian yang paling menarik bagi saya, dan saya belum sepenuhnya memahaminya lagi.

Ketiga-tiga model yang menghasilkan terjemahan idiomatik memberikan tiga terjemahan yang berbeza:

• GPT-4.1-MINI: to pull it off successfully
• GPT-5.4-MINI: to get one's way
• GPT-5.4: to come out on top

Ketiga-tiganya adalah tafsiran bahasa Inggeris yang boleh dipertahankan bagi llevarse el gato al agua‎. Tetapi ia tidak setara.

Untuk menjayakannya menekankan pelaksanaan berbanding kesukaran, anda melakukan sesuatu yang sukar dan ia berjaya. Untuk mendapatkan apa yang diinginimenekankan hasil yang anda inginkan tercapai, dengan kurang penekanan pada kesukaran. Untuk muncul sebagai pemenang menekankan kemenangan kompetitif, menang berbanding orang lain.

Idiom asal Sepanyol paling hampir dengan yang pertama. Frasa ini membawa konotasi mengatasi rintangan, bukan sekadar memilih satu hasil dan membiarkannya berlaku. Tetapi mendapatkan apa yang diingini dan menang bukanlah salah, ia hanya tidak tepat dalam arah yang berbeza.

Ini menimbulkan persoalan yang saya dapati benar-benar sukar: apabila tiga model setiap satunya menghasilkan terjemahan idiomatik yang betul tetapi berbeza, bagaimana anda menilai yang mana satu terbaik? Skor BLEU dibandingkan dengan terjemahan rujukan — tetapi siapa yang menulis rujukan itu, dan yang mana daripada tiga ini yang akan mereka pilih?

Ejen Terjemahan AI kami, sejujurnya, mengajukan soalan yang betul sebelum memberikan sebarang output: Apakah maksud yang dimaksudkan dengan 'llevarse el gato al agua' dalam konteks ini? Tiga pilihan ditawarkan — untuk mencapai matlamat yang sukar, mengambil sesuatu yang tidak perlu, atau terlibat dalam aktiviti berisiko. Soalan itu bukan hiasan. Ia adalah mekanisme di mana ketaksaan kontekstual diselesaikan sebelum terjemahan dimuktamadkan.

Tetapi intipatinya tetap sama: tiga jawapan yang betul, tiga nuansa makna yang berbeza. Alat penilaian terjemahan tidak dibina untuk nuansa sebegini.

Apa yang saya tidak tahu lagi

Saya mahu jujur tentang batasan apa yang ditunjukkan oleh ujian ini.

Satu idiom, satu pasangan bahasa, satu hari ujian dalaman. Itu bukan kajian. Ini adalah pemerhatian. Saya tidak tahu sama ada corak ini (model yang lebih kecil secara lalai kepada literal, model yang lebih besar mencapai idiomatik) kekal secara konsisten di seluruh:

• Idiom Sepanyol lain
• Pasangan bahasa lain dengan tradisi idiomatik yang kaya (Arab, Jepun, Rusia semuanya terlintas di fikiran)
• Kandungan bukan idiomatik di mana perbezaan tidak berlaku
• Kes tepi di mana model yang lebih kecil mendapat idiom dengan betul dan model yang lebih besar terlepasnya

Saya juga tidak tahu sama ada ini adalah sifat yang stabil bagi model ini atau sesuatu yang berubah dengan kemas kini dan penalaan halus. Penyedia model tidak menerbitkan log perubahan khusus terjemahan. Versi model yang mengendalikan llevarse el gato al agua dengan betul hari ini mungkin dikemas kini bulan depan, dan kami tidak akan tahu.

Apa yang saya tahu: ujian ini menghasilkan keputusan yang cukup menarik sehingga saya ingin menjalankan lebih banyak ujian, dengan lebih sistematik, merentasi lebih banyak pasangan bahasa dan jenis kandungan. Apabila saya mempunyai lebih banyak untuk dikongsi, saya akan berbuat demikian.

Dua persoalan kajian yang patut direnungkan

Saya akan akhiri dengan dua persoalan yang ditinggalkan oleh ujian ini kepada saya. Saya tidak akan menjawabnya, saya belum mempunyai data untuk berbuat demikian. Tetapi saya rasa itu adalah soalan yang betul untuk ditanya.

Pertama: pada ambang parameter manakah kecekapan idiomatik menjadi boleh dipercayai?

Lompatan daripada GPT-4o-MINI dan GPT-4.1-NANO (kedua-duanya literal) kepada GPT-4.1-MINI (idiomatik) menunjukkan terdapat ambang di suatu tempat dalam julat parameter antara saiz model tersebut di mana pengiktirafan idiom berfungsi. Adakah ia konsisten? Adakah ia terpakai pada simpulan bahasa dalam semua bahasa, atau ia bergantung pada sejauh mana sesuatu bahasa itu diwakili dalam data latihan? Saya tidak tahu. Tetapi mengetahui akan berguna bagi sesiapa sahaja yang membina aliran kerja terjemahan.

Kedua: berapa kos ketidaktelusan versi model kepada pengguna dalam skala besar?

Jika pengguna menghalakan 1,000 dokumen sebulan melalui alatan yang tidak mendedahkan versi model yang digunakan (dan sesetengah daripada dokumen tersebut mengandungi kandungan idiomatik), seberapa kerap kegagalan literal berlaku secara tidak kelihatan? Bagaimana mereka akan tahu? Berapakah kos, dalam istilah sebenar, jika tidak pernah diketahui?

Saya rasa ini adalah soalan yang lebih penting daripada kebanyakan perbandingan AI mana yang terbaik untuk terjemahan yang sedang beredar. Jawapannya bukanlah gunakan model terbesar. Jawapannya mungkin: tahu apa yang anda gunakan, jalankan ujian anda sendiri pada kandungan anda sendiri, dan jangan menganggap bahawa nama pembekal satu adalah jaminan tingkah laku yang konsisten di seluruh rangkaian model mereka .

Sekurang-kurangnya itulah yang saya ambil dari ujian ini.

Soalan penyelidikan

1. Adakah saiz model dapat meramalkan kualiti terjemahan idiomatik dengan pasti?

Berdasarkan ujian tunggal ini: model yang lebih kecil dan dioptimumkan untuk kecekapan dalam keluarga AI yang sama secara lalai menterjemah secara literal ungkapan idiomatik Sepanyol yang mantap, manakala versi yang lebih besar/baharu bagi model yang sama menghasilkan terjemahan idiomatik yang betul. Sama ada ini berlaku di seluruh kategori idiom dan pasangan bahasa adalah soalan seterusnya. Saya akan jalankan lebih banyak ujian.

2. Mengapakah tiga terjemahan idiomatik yang betul menghasilkan tiga output yang berbeza secara makna?

GPT-4.1-MINI, GPT-5.4-MINI, dan GPT-5.4 semuanya menterjemahkanllevarse el gato al agua secara idiomatik — tetapi kepada ungkapan bahasa Inggeris yang berbeza dengan konotasi yang berbeza secara halus. Ini menunjukkan bahawa kualiti terjemahan idiomatik mempunyai sekurang-kurangnya dua dimensi: sama ada model itu mengenali idiom tersebut sama sekali, dan ungkapan setara yang dipilihnya daripada pilihan yang tersedia dalam bahasa sasaran. Metrik kualiti terjemahan standard tidak memisahkan kedua-dua dimensi ini dengan jelas. Saya rasa mereka patut.

Catatan ini berdasarkan ujian dalaman pada platform pembangunan MachineTranslation.com. Ujian pelbagai model yang ditunjukkan di sini belum tersedia untuk umum. Saya berkongsi penemuan ini kerana saya rasa pemerhatian itu berguna tanpa mengira di mana anda menjalankan terjemahan anda.