Moom AI, model bu dus, te liñuy jàppale yi ñu dulen soppiku

Tôi đã chạy thử nghiệm nội bộ về một điều chúng ta không nói đủ trong ngành dịch thuật: không phải liệu các hệ thống AI khác nhau có dịch khác nhau hay không, mà là liệu các phiên bản khác nhau của cùng một AI có dịch khác nhau hay không — và khác nhau đến mức nào.

Tuần trước, tôi đã chạy một thành ngữ tiếng Tây Ban Nha duy nhất qua năm phiên bản ChatGPT cùng lúc trên nền tảng thử nghiệm nội bộ của MachineTranslation.com. Kết quả trả về đã khiến tôi sững sờ.

Hai phiên bản đã tạo ra một bản dịch mà, thực sự, vô nghĩa trong tiếng Anh. Tatt ñaar-fukki jàmm yi daal nañu jàppale ci njàkk-jàkkale gu jub gu am solo. Và ba cái đúng không đồng ý với nhau.

Cả năm đều là ChatGPT. Gannaaw bii yepp OpenAI lañu. Moom AI, model bu jëleek bu magg — te li mu génn du ko am solo, du ko am solo.

Dama koy joxe léegi bi, ndaxte xamna ni li ko waral, du ndaxte manam man naa la joxe yitte gu sell. Duma ko def. Maa ngi ci xel sax lu soppi ci ci àdduna bi.

Tuddal gi ci biir:

• Sàmm gi: Một thành ngữ tiếng Tây Ban Nha, năm phiên bản GPT
• Tại sao thành ngữ này là một trường hợp thử nghiệm tốt
• Sự phân chia từ nghĩa đen sang nghĩa thành ngữ cho chúng ta biết gì về cách các mô hình này được huấn luyện
• Hàm ý mà dường như không ai nói đến
• Ngay cả các bản dịch chính xác cũng không thống nhất với nhau
• Những gì tôi chưa biết
• Hai câu hỏi nghiên cứu đáng suy ngẫm

Bài kiểm tra: Gàndu bu-Espaañ ben, jéppal gu GPT niar-fuk ak juroom-ben

Mbind mi ma jànkoon mooy llevarse el gato al agua.

Nii la jéppal gu nekk jàppoo:

Mbind mi dafa melni daa jàllale ci njàqqaay, daa jàllale ci kaw.‎ Dafa amul solo ci xam-xam ak njukkal. Tuggal gi ci dëgg-dëgg du tuggal. Đây là bản chép lại từng từ của một cụm từ mà mô hình không nhận ra là một thành ngữ.

GPT-4o-MINI và GPT-4.1-NANO đã tạo ra các kết quả đầu ra giống hệt nhau. Bouléne ci mel, beneen la. Moo tax ñu jàpp ci noonu ci ñi xam xam ci àddina ci àddina: GPT-4.1-nano và GPT-4o-mini có chung các bản dịch giống hệt nhau, nhấn mạnh cách diễn giải theo nghĩa đen hơn là nghĩa thành ngữ.

GPT-4.1-MINI, GPT-5.4-MINI và GPT-5.4 mỗi cái đều tạo ra một cái gì đó có thể nhận ra là đúng — nhưng không giống nhau.

Tại sao thành ngữ này lại là một trường hợp thử nghiệm tốt

Tôi muốn nói rõ lý do tại sao llevarse el gato al agua là một đầu vào thử nghiệm hữu ích chứ không phải là một lựa chọn có chủ đích.

Đây là một thành ngữ đã được thiết lập tốt. A ci jàppale ci làkk-làkk, jàmm-jàmm, ak làkk-làkk bu àdduna bi. Moo xamul. Bất kỳ mô hình nào được huấn luyện trên một kho ngữ liệu tiếng Tây Ban Nha hợp lý hẳn đã gặp nó. Diob la gattal ci li nit gisee. Njutal gi mooy li mu ci def.

Jàppale gu ñor ci njalale gu ñu jële ci làkk yu neex yi mooy kenn du ko jàppale ci njalale gu bon ‎. Dafa jàppale ci lu jëf ci lu waral lu am solo ci ku xamul ci làkku ji. Dooñu jaŋ ci dex li ci li waral ci

làkku Angalteer. Moo gënna am njariñ. Day melni li am solo te man a tekki. Nit ku xamul wolof man a ci gis, nekk, te dem— gannaaw bi mu xamul ni li ci jëfëndikoo dafa génn.

Lii moom laa soppal. Dàkk-dàkkul feeñte gu neexul. Người vô hình.

Điều sự phân tách nghĩa đen-nghĩa bóng cho chúng ta biết về cách các mô hình này được đào tạo

Kiểu mẫu ở đây không phải ngẫu nhiên. Modèle yi joxé nañu lu jële ci lépp li jële ci lépp (GPT-4o-MINI ak GPT-4.1-NANO) dañoo féete ci lépp féete ci lépp, ñoo xamné dañoo jëflante ci lépp ak lépp. Ba mô hình tạo ra các bản dịch thành ngữ (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) đại diện cho một thế hệ khác hoặc quy mô tham số.

Điều này gợi ý một điều mà tôi nghĩ là chưa được khám phá đầy đủ: năng lực thành ngữ trong dịch thuật tỷ lệ thuận với dung lượng mô hình theo những cách mà không thể nhìn thấy trong các điểm chuẩn chung.

Các điểm chuẩn ngôn ngữ chung kiểm tra khả năng suy luận, kiến thức, mã hóa, toán học. Họ thường không kiểm tra xem một mô hình có thể nhận ra rằng it's raining cats and dogs không phải là về điều kiện thời tiết, hoặc rằng llevarse el gato al agua không phải là về việc cho mèo uống nước. Thành ngữ nằm ở giao điểm của kiến thức văn hóa, suy luận theo ngữ cảnh và nhận dạng mẫu — và giao điểm đó dường như đòi hỏi một ngưỡng năng lực mô hình mà các mô hình nhỏ hơn không thể vượt qua một cách nhất quán.

Điều tôi không khẳng định: rằng các mô hình lớn hơn luôn là những dịch giả tốt hơn. Tôi không có bằng chứng cho điều đó như một quy tắc chung. Điều tôi đang quan sát: đó là đối với nội dung thành ngữ nói riêng, khoảng cách phiên bản trong cùng một gia đình lớn hơn tôi mong đợi.

Hàm ý mà dường như không ai nói đến

Hầu hết người dùng sử dụng công cụ dịch AI không biết họ đang sử dụng phiên bản nào của AI đó. Họ mở một sản phẩm, chọn một cặp ngôn ngữ , và nhận được một kết quả đầu ra. Ndaxte bi ci lépp lu ci am dafay am solo ci

lépp lu ci am. MachineTranslation.com daf ci lu ñu jëfandiko ci lu matu lépp ci lu tolóok ñaari téeméeri junniy liggéey bu jàppale ci jàppale ci angale ak espaniol ci biir 90 at. Nếu một phần đáng kể các công việc đó liên quan đến nội dung thành ngữ (văn bản tiếp thị, ngôn ngữ pháp lý, văn học, giao tiếp thông thường) và công cụ định tuyến các công việc đó đang hướng người dùng đến một mô hình nhỏ hơn mà họ không hề hay biết, thì cụm từ to carry the cat to the water đã xuất hiện trong các kết quả thực tế, trong các tài liệu thực tế, dành cho những người thật sự tin tưởng vào kết quả đó.

Ngành dịch thuật đã dành nhiều năm để so sánh các nhà cung cấp AI. DeepL đấu với Google. Claude ak ChatGPT. Dinaay jàppale mbëjjeen yi. Nhưng trong phạm vi một nhà cung cấp duy nhất, khoảng cách phiên bản có thể cũng quan trọng không kém — và đó là một khoảng cách mà hầu hết các khuôn khổ so sánh không đo lường vì họ không kiểm tra ở cấp độ phiên bản mô hình.

Khi ai đó nói Tôi dùng ChatGPT để dịch, câu đó không đủ cụ thể để có ý nghĩa. Ngeen ChatGPT? Nano? 4o-mini? ‎4.1-mini? 5.4? Câu trả lời thay đổi đầu ra theo những cách không hề tầm thường, ít nhất là đối với nội dung thành ngữ.

Ngay cả các bản dịch chính xác cũng không thống nhất với nhau

Đây là phần tôi thấy thú vị nhất, và tôi vẫn chưa hoàn toàn hiểu rõ phải làm gì với nó.

Ba mô hình tạo ra các bản dịch thành ngữ đã đưa ra ba bản dịch khác nhau:

• GPT-4.1-MINI: thực hiện thành công
• GPT-5.4-MINI: đạt được điều mình muốn
• GPT-5.4: giành chiến thắng

Cả ba đều là những cách diễn đạt tiếng Anh có thể chấp nhận được của llevarse el gato al agua. Maa ngi ni, kon ñoom duñu benn.

Jàppale ko dafay xamal ni dafa soxla njaboot gi ci soxla, yow dafay def lu metti te dafa jàppale. ‎ Nammaleen lu la soobë xamal na li nga bëggoon ci jàmm, te du ci gën a xamal leer gi. Để giành chiến thắng nhấn mạnh chiến thắng trong cạnh tranh, chiến thắng so với những người khác.

Thành ngữ gốc tiếng Tây Ban Nha gần nhất với ý đầu tiên trong số này. Cụm từ này mang hàm ý vượt qua sự kháng cự, chứ không đơn thuần là thích một kết quả nào đó và để nó tự hiện thực hóa. Amul solo def ci sa bët ak dal ci kaw, genn genn lañu, ci anam yu wuute lañu nekk.

Loolu dafa tax a génn ci man ben kàddoo bu ma daan gis solo: bi ñetti taal-taal yu bonu ñoo xamni dañu joxe ben xasaaytaay bu leer te wuute, nan lañuy jàppale bi ci soppee ci kaw? Điểm BLEU so sánh với một bản dịch tham chiếu — nhưng ai đã viết bản tham chiếu đó, và bản nào trong ba bản này họ sẽ chọn?

Đặc biệt, Tác nhân Dịch thuật AI của chúng tôi đã đặt câu hỏi đúng trước khi đưa ra bất kỳ đầu ra nào: Moy lii 'llevarse el gato al agua' fanaane ci xew-xewu làkk bii? Ci lañu joxe ci ñetti yoon — jëf ci li gën a tar, jëf ci li dul sool, walla jëf ci li gën a solo. Soofal bii du lu am solo. Đây là cơ chế mà sự mơ hồ theo ngữ cảnh được giải quyết trước khi bản dịch được hoàn thiện.

Nhưng vấn đề vẫn còn đó: ba câu trả lời đúng, ba sắc thái nghĩa khác nhau. Các công cụ đánh giá bản dịch không được xây dựng cho loại sắc thái này.

Những gì tôi chưa biết

Tôi muốn thành thật về những giới hạn của những gì bài kiểm tra này cho thấy.

Một thành ngữ, một cặp ngôn ngữ, một ngày thử nghiệm nội bộ. Yii du lu jànq. Dafa melni xoolatugoo. Tôi không biết liệu mô hình này (các mô hình nhỏ hơn mặc định dịch sát nghĩa, các mô hình lớn hơn đạt được tính thành ngữ) có nhất quán trên:

• Các thành ngữ tiếng Tây Ban Nha khác
• Các cặp ngôn ngữ khác có truyền thống thành ngữ phong phú (tiếng Ả Rập, tiếng Nhật, tiếng Nga đều hiện lên trong tâm trí)
• Nội dung không phải thành ngữ mà sự phân biệt không áp dụng
• Các trường hợp ngoại lệ khi một mô hình nhỏ hơn dịch đúng thành ngữ và một mô hình lớn hơn lại bỏ sót

Tôi cũng không biết liệu đây có phải là một thuộc tính ổn định của các mô hình này hay là thứ thay đổi theo các bản cập nhật và tinh chỉnh. Các nhà cung cấp mô hình không công bố nhật ký thay đổi dành riêng cho bản dịch. Một phiên bản mô hình xử lý llevarse el gato al agua đúng cách hôm nay có thể được cập nhật vào tháng tới, và chúng ta sẽ không có cách nào để biết.

Điều tôi biết: thử nghiệm này đã tạo ra một kết quả đủ thú vị đến mức tôi muốn thực hiện nhiều thử nghiệm hơn, một cách có hệ thống hơn, trên nhiều cặp ngôn ngữ và loại nội dung hơn. Khi tôi có thêm điều để chia sẻ, tôi sẽ làm.

Hai câu hỏi nghiên cứu đáng để suy ngẫm

Tôi sẽ kết thúc với hai câu hỏi mà bài kiểm tra này đã để lại cho tôi. Dina leen genn jàppale, xamuloon na ci lépp lu ci am. Nhưng tôi nghĩ đó là những câu hỏi đúng đắn để đặt ra.

Đầu tiên: ở ngưỡng tham số nào năng lực thành ngữ trở nên đáng tin cậy?

Bước nhảy vọt từ GPT-4o-MINI và GPT-4.1-NANO (cả hai đều theo nghĩa đen) sang GPT-4.1-MINI (thành ngữ) cho thấy có một ngưỡng nào đó trong phạm vi tham số giữa các kích thước mô hình đó nơi khả năng nhận diện thành ngữ được kích hoạt. Nanga def? Có áp dụng cho thành ngữ trên tất cả các ngôn ngữ không, hay nó phụ thuộc vào việc một ngôn ngữ được thể hiện tốt như thế nào trong dữ liệu huấn luyện? Duma xam. Nhưng việc biết sẽ hữu ích cho bất kỳ ai xây dựng quy trình dịch thuật.

Thứ hai: việc thiếu minh bạch về phiên bản mô hình gây tốn kém gì cho người dùng ở quy mô lớn?

Nếu người dùng xử lý 1.000 tài liệu mỗi tháng thông qua một công cụ mà không tiết lộ phiên bản mô hình nào đang được sử dụng (và một số trong số các tài liệu đó chứa nội dung thành ngữ), thì tần suất lỗi dịch nghĩa đen xảy ra một cách vô hình là bao nhiêu? Làm sao họ biết được? Chi phí thực sự của việc không bao giờ tìm ra là bao nhiêu?

Tôi nghĩ đây là một câu hỏi quan trọng hơn hầu hết các so sánh AI nào tốt nhất cho dịch thuật hiện đang lưu hành. Câu trả lời không phải là sử dụng mô hình lớn nhất. Câu trả lời có thể là: biết bạn đang sử dụng cái gì, chạy các thử nghiệm của riêng bạn trên nội dung của riêng bạn, và đừng cho rằng tên của một nhà cung cấp là sự đảm bảo về hành vi nhất quán trên toàn bộ phạm vi mô hình của họ.

Đó là, ít nhất, những gì tôi rút ra từ thử nghiệm này.

Các câu hỏi nghiên cứu

1. Kích thước mô hình có dự đoán đáng tin cậy chất lượng dịch thành ngữ không?

Dựa trên thử nghiệm duy nhất này: các mô hình nhỏ hơn, được tối ưu hóa hiệu quả trong cùng một họ AI mặc định dịch nghĩa đen một thành ngữ tiếng Tây Ban Nha đã được thiết lập tốt, trong khi các phiên bản lớn hơn/mới hơn của cùng một mô hình tạo ra các bản dịch thành ngữ chính xác. Liệu điều này có áp dụng trên các thể loại thành ngữ và các cặp ngôn ngữ hay không là câu hỏi tiếp theo. Dinaa def ay test yubari.

2. Lii tax ñetti nalatu käddu yu jàppale yi joxe nañu ñetti ajiin yu am solo yu wuute yi?

GPT-4.1-MINI, GPT-5.4-MINI, ak GPT-5.4 ñepp jàppale nañullevarse el gato al agua ci ajiin yu jàppale — waaye ci ajiin yu wuute yu Ingglis yu am xalaat yu wuute. Điều này cho thấy chất lượng dịch thành ngữ có ít nhất hai khía cạnh: liệu mô hình có nhận ra thành ngữ đó hay không, và biểu thức tương đương nào nó chọn từ các lựa chọn có sẵn của ngôn ngữ đích.‎ Các chỉ số chất lượng bản dịch tiêu chuẩn không phân tách rõ ràng hai khía cạnh này. Dina melni war nañu ko def.

Lii ci xabaar bi dafa joge ci jubbanti ci platform bu ñu jëfandiko ci MachineTranslation.com. Việc thử nghiệm phiên bản đa mô hình được hiển thị ở đây chưa được công khai. Dama ciy wone liggéey bi lépp tey gis gis bi man na am solo, amul solo fu la njàkkatéy ji.