Parehong AI, ibang modelo — at ang mga pagsasalin ay hindi maaaring maging mas magkaiba

Sinusubukan ko sa loob ng mga panloob na pagsubok ang isang bagay na hindi natin sapat na pinag-uusapan sa industriya ng pagsasalin: hindi kung magkakaiba ang pagsasalin ng iba't ibang AI system nang magkakaiba, kundi kung magkakaiba ang mga bersyon ng parehong AI — at kung gaano kalaki.

Noong nakaraang linggo ay nagpatakbo ako ng isang solong ekspresyong Espanyol sa limang bersyon ng ChatGPT nang sabay-sabay sa panloob na platform ng pagsubok ng MachineTranslation.com. Ang lumabas ay nagpatigil sa akin.

Dalawang bersyon ang nagbigay ng salin na, sa katunayan, ay walang saysay sa Ingles. Tatlong bersyon ang nagbigay ng tamang idiomatikong salin. At ang tatlong tama ay hindi nagkasundo sa isa't isa. Lahat ng lima ay

ChatGPT. Lahat ng lima ay OpenAI. Parehong AI, ibang modelo — at ang mga resulta ay hindi maaaring maging mas magkaiba.

Ibinabahagi ko ito ngayon dahil sa tingin ko mahalaga ito, hindi dahil mayroon akong malinaw na mga sagot. Hindi ko. Ngunit ang obserbasyon ay sapat na kawili-wili upang ilagay sa mundo.

Talaan ng nilalaman

• Ang pagsubok: Isang idyomang Espanyol, limang bersyon ng GPT
• Bakit magandang test case ang idyomang ito
• Ano ang sinasabi ng literal-to-idiomatic split tungkol sa kung paano sinanay ang mga modelong ito
• Ang implikasyon na tila walang pinag-uusapan
• Kahit ang mga tamang salin ay hindi nagkasundo
• Ang hindi ko pa alam
• Dalawang tanong sa pananaliksik na sulit pag-isipan

Ang pagsubok: Isang idyoma sa Espanyol, limang bersyon ng GPT

Ang pariralang sinubukan ko ay llevarse el gato al agua.

Narito ang ginawa ng bawat bersyon:

Ang parirala ay nangangahulugang makamit ang isang mahirap na bagay laban sa mga posibilidad, upang makamit ang isang mahirap na panalo. Wala itong kinalaman sa mga pusa o tubig. Ang literal na pagsasalin ay hindi pagsasalin. Ito ay isang salita-sa-salitang transkripsyon ng isang parirala na hindi nakilala ng modelo bilang isang idyoma.

Ang GPT-4o-MINI at GPT-4.1-NANO ay gumawa ng magkaparehong mga output. Hindi magkatulad, magkapareho. Na-flag ito mismo ng aming Translation Insights: Ang GPT-4.1-nano at GPT-4o-mini ay nagbabahagi ng magkaparehong mga salin, na nagbibigay-diin sa literal na interpretasyon kaysa sa idyomatikong kahulugan.

Ang GPT-4.1-MINI, GPT-5.4-MINI, at GPT-5.4 ay bawat isa ay nakabuo ng isang bagay na malinaw na tama — ngunit hindi kapareho ng isa't isa.

Bakit ang idyomang ito ay isang magandang test case

Gusto kong maging tiyak tungkol sa kung bakit ang llevarse el gato al agua ay isang kapaki-pakinabang na test input sa halip na isang pinili lamang.

Ito ay isang matatag na idyoma. Lumilitaw ito sa panitikan, pamamahayag, at pang-araw-araw na pananalita. Hindi ito malabo. Anumang modelo na sinanay sa isang makatuwirang corpus ng tekstong Espanyol ay dapat na nakatagpo nito. Ang tanong ay hindi kung nakita na ng modelo ang parirala. Ang tanong ay kung ano ang gagawin nito. Ang pinakamalalang paraan ng pagkabigo sa pagsasalin ng idyoma ay hindi ang paggawa ng isang masamang salin. Ito ay gumagawa ng literal na pagsasalin na mukhang katanggap-tanggap sa isang taong hindi nakakaalam ng target na wika.

To carry the cat to the water ay isang wastong Ingles na panggramatika. Ito ay maayos ang pagkakabuo. Mukhang isang bagay ito na maaaring mangahulugan ng isang bagay. Maaaring basahin ito ng isang user na hindi nagsasalita ng Espanyol, tumango, at umalis — hindi malalaman na ang orihinal na kahulugan ay lubusang nawala.

Iyon ang failure mode na mahalaga sa akin. Hindi ang halatang pagkakamali. Ang di-nakikita.

Ano ang sinasabi ng literal-to-idiomatic split tungkol sa kung paano sinanay ang mga modelong ito

Ang pattern dito ay hindi random. Ang dalawang modelo na gumawa ng literal na pagsasalin (GPT-4o-MINI at GPT-4.1-NANO) ay parehong mas maliit, mas magaan na mga modelo na na-optimize para sa bilis at kahusayan sa gastos. Ang tatlong modelo na gumawa ng mga idiomatikong pagsasalin (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) ay kumakatawan sa ibang henerasyon o sukat ng parameter.

Ito ay nagmumungkahi ng isang bagay na sa tingin ko ay hindi gaanong napag-aralan: ang idiomatikong kakayahan sa pagsasalin ay lumalaki kasabay ng kapasidad ng modelo sa mga paraan na hindi nakikita sa pangkalahatang mga benchmark.

Sinusubok ng mga pangkalahatang benchmark ng wika ang pangangatwiran, kaalaman, coding, matematika. Hindi nila karaniwang sinusubukan kung matutukoy ng isang modelo na ang raining cats and dogs ay hindi tungkol sa mga kondisyon ng panahon, o na ang llevarse el gato al agua ay hindi tungkol sa pagpapainom ng pusa. Ang mga idyoma ay nasa intersection ng kaalaman sa kultura, contextual inference, at pattern recognition — at ang intersection na iyon ay tila nangangailangan ng threshold ng kapasidad ng modelo na hindi palaging nalalampasan ng mas maliliit na modelo. Ang hindi ko inaangkin: na ang mas malalaking modelo ay palaging mas mahusay na tagasalin.‎

Wala akong ebidensya para diyan bilang pangkalahatang tuntunin. Ang naoobserbahan ko: na para sa idiomatic na nilalaman partikular, ang agwat ng bersyon sa loob ng pamilya ay mas malaki kaysa sa inaasahan ko.

Ang implikasyon na tila walang pinag-uusapan

Karamihan sa mga gumagamit na gumagamit ng AI translation tool ay hindi alam kung aling bersyon ng AI na iyon ang kanilang ginagamit. Binubuksan nila ang isang produkto, pipili ng pares ng wika , at makakakuha ng output. Ang pag-ruta ng modelo ay hindi nakikita sa kanila.

Mahalaga ito sa malaking sukat. Nagproseso ang MachineTranslation.com ng mahigit daan-daang libong trabaho sa pagsasalin mula Ingles patungong Espanyol sa loob lamang ng isang 90-araw na panahon. Kung malaking bahagi ng mga trabahong iyon ay humawak ng idiomatic na nilalaman (marketing copy, legal na wika, pampanitikang teksto, kaswal na komunikasyon) at ang tool na nagruruta ng mga trabahong iyon ay nagdidirekta ng mga user sa isang mas maliit na modelo nang hindi nila nalalaman, kung gayon ang to carry the cat to the water ay lumalabas sa mga tunay na output, sa mga tunay na dokumento, para sa mga tunay na tao na nagtitiwala sa resulta.

Ang industriya ng pagsasalin ay gumugol ng mga taon sa paghahambing ng mga AI provider. DeepL versus Google. Claude laban sa ChatGPT. Kapaki-pakinabang ang mga paghahambing na iyon. Ngunit sa loob ng isang provider, ang agwat ng bersyon ay maaaring kasinghalaga — at ito ay isang agwat na karamihan sa mga balangkas ng paghahambing ay hindi sinusukat dahil hindi nila sinusubukan sa antas ng bersyon ng modelo.

Kapag sinabi ng isang tao na Gumagamit ako ng ChatGPT para sa pagsasalin, ang pangungusap na iyon ay hindi sapat na tiyak upang maging makabuluhan. Aling ChatGPT? Nano? 4o-mini? ‎4.1-mini? 5.4? Nagbabago ang sagot sa mga output sa mga paraan na hindi simple, kahit para sa idiomatic na nilalaman.

Kahit ang mga tamang salin ay hindi nagkasundo sa isa't isa

Ito ang bahaging pinaka-interesante para sa akin, at hindi ko pa lubos na nauunawaan kung ano ang gagawin dito.

Ang tatlong modelo na nagbigay ng idiomatic na mga salin ay nagbigay ng tatlong magkakaibang salin:

• GPT-4.1-MINI: to pull it off successfully
• GPT-5.4-MINI: to get one's way
• GPT-5.4: to come out on top

Lahat ng tatlo ay maaaring ipagtanggol na mga salin sa Ingles ng llevarse el gato al agua‎. Ngunit hindi sila magkatumbas.

Upang magawa ito binibigyang-diin ang pagpapatupad laban sa kahirapan, gumawa ka ng isang bagay na mahirap at ito ay nagtagumpay. Makuha ang gusto binibigyang-diin ang pagkamit ng nais mong resulta, na may kaunting diin sa kahirapan. Mangibabaw binibigyang-diin ang mapagkumpitensyang tagumpay, nananalo kaugnay sa iba.

Ang orihinal na pariralang Espanyol ay pinakamalapit sa una sa mga ito. Ang parirala ay nagdadala ng konotasyon ng pagtagumpayan ang pagtutol, hindi lamang ang pagpili ng isang kinalabasan at ang pagiging makatotohanan nito. Ngunit ang makakuha ng gusto at manalo ay hindi mali, hindi lang sila tumpak sa magkaibang paraan. Ito ay nagtatanong ng isang bagay na nahihirapan akong sagutin: kapag ang

tatlong modelo ay bawat isa ay gumawa ng tama ngunit magkaibang idiomatikong salin, paano mo susuriin kung alin ang pinakamahusay? Ang mga BLEU score ay inihahambing sa isang salin na reperensya — ngunit sino ang sumulat ng reperensya, at alin sa tatlong ito ang kanilang pipiliin?

Ang aming AI Translation Agent, sa kanyang kredito, ay nagtanong ng tamang tanong bago magbigay ng anumang output: Ano ang ibig sabihin ng 'llevarse el gato al agua' sa kontekstong ito? Tatlong pagpipilian ang inalok — upang makamit ang isang mahirap na layunin, upang kumuha ng isang hindi kinakailangang bagay, o upang makisali sa isang mapanganib na gawain. Ang tanong na iyan ay hindi pang-dekorasyon. Ito ang mekanismo kung saan nalulutas ang kalabuan ng konteksto bago matapos ang pagsasalin.

Ngunit ang punto ay nananatili: tatlong tamang sagot, tatlong magkakaibang antas ng kahulugan. Ang mga tool sa pagsusuri ng pagsasalin ay hindi ginawa para sa ganitong uri ng detalye.

Ang hindi ko pa alam

Gusto kong maging tapat tungkol sa mga limitasyon ng ipinapakita ng pagsubok na ito.

Isang idyoma, isang pares ng wika, isang araw ng panloob na pagsubok. Hindi iyan pag-aaral. Ito ay isang obserbasyon. Hindi ko alam kung ang pattern na ito (mas maliliit na modelo na nagde-default sa literal, mas malalaking modelo na nakakakuha ng idiomatic) ay pare-pareho sa: Iba pang mga idyoma sa Espanyol Iba pang mga pares ng wika na may mayamang tradisyon ng idyoma (naaalala ko ang Arabic, Japanese, Russian) Nilalaman na hindi idyomatiko kung saan hindi naaangkop ang pagkakaiba Mga kaso sa gilid kung saan tama ang isang maliit na modelo sa idyoma at mali ang isang mas malaki Hindi ko rin alam kung ito ay isang matatag na katangian ng mga modelong ito o isang bagay na nagbabago sa mga update at fine-tuning. Hindi naglalathala ang mga tagapagbigay ng modelo ng mga changelog na partikular sa pagsasalin. Ang isang bersyon ng modelo na humahawak ng llevarse el gato al agua nang tama ngayon ay maaaring ma-update sa susunod na buwan, at wala tayong paraan para malaman.

• Ang alam
• ko: ang pagsubok na ito ay nagbunga
• ng isang resulta
• na sapat na kawili-wili na nais

kong magpatakbo ng higit pa sa mga ito, nang mas sistematiko, sa mas maraming pares ng wika

at uri ng nilalaman.‎ Kapag marami pa akong maibabahagi, gagawin ko.

Dalawang katanungan sa pananaliksik na sulit pag-isipan

Magtatapos ako sa dalawang tanong na naiwan sa akin ng pagsubok na ito. Hindi ko sasagutin ang mga iyon, wala pa akong datos para gawin iyon. Ngunit sa tingin ko sila ang tamang mga tanong na itanong.

Una: sa anong parameter threshold nagiging maaasahan ang idiomatic competence ?

Ang pagtalon mula sa GPT-4o-MINI at GPT-4.1-NANO (parehong literal) patungo sa GPT-4.1-MINI (idiomatic) ay nagmumungkahi na mayroong threshold sa isang lugar sa parameter range sa pagitan ng mga laki ng modelong iyon kung saan ang pagkilala sa idyoma ay nagbubukas. Konsistent ba ito? Sumasaklaw ba ito sa mga idyoma sa lahat ng wika, o nakadepende ito sa kung gaano kahusay na kinakatawan ang isang wika sa datos ng pagsasanay? Hindi ko alam. Ngunit ang pag-alam ay magiging kapaki-pakinabang para sa sinumang bumubuo ng mga daloy ng trabaho sa pagsasalin.

Pangalawa: ano ang halaga ng kawalan ng kalinawan sa bersyon ng modelo sa mga gumagamit sa malaking sukat?

Kung ang isang gumagamit ay nag-ruta ng 1,000 dokumento bawat buwan sa pamamagitan ng isang tool na hindi nagbubunyag kung aling bersyon ng modelo ang ginagamit (at ang ilan sa mga dokumentong iyon ay naglalaman ng idyomatikong nilalaman), gaano kadalas ang literal na pagkabigo na nangyayari nang hindi nakikita? Paano nila malalaman? Ano ang tunay na halaga ng hindi pag-alam?

Sa tingin ko, ito ay isang mas mahalagang tanong kaysa sa karamihan ng alin ang pinakamahusay na AI para sa pagsasalin na mga paghahambing na kasalukuyang lumalaganap. Ang sagot ay hindi gamitin ang pinakamalaking modelo. Ang sagot ay maaaring: alamin kung ano ang iyong ginagamit, patakbuhin ang iyong sariling mga pagsubok sa iyong sariling nilalaman, at huwag ipagpalagay na ang pangalan ng isang provider ay garantiya ng pare-parehong pag-uugali sa kanilang saklaw ng modelo .

Iyon, kahit papaano, ang aking nakukuha mula sa pagsubok na ito.

Mga katanungan sa pananaliksik

1. Maaasahan bang mahulaan ng laki ng modelo ang kalidad ng idiomatikong pagsasalin?

Batay sa nag-iisang pagsubok na ito: ang mas maliliit, na-optimize para sa kahusayan na mga modelo sa loob ng parehong pamilya ng AI ay nag-default sa literal na pagsasalin ng isang matatag na idyoma sa Espanyol, habang ang mas malaki/mas bagong mga bersyon ng parehong modelo ay gumawa ng tamang idiomatikong pagpapahayag. Kung ang ito ay totoo sa iba't ibang kategorya ng idyoma at mga pares ng wika ay ang susunod na tanong. Magpapatakbo ako ng mas maraming pagsubok.

2. Bakit nagkaroon ng tatlong makabuluhang magkakaibang resulta ang tatlong tamang idiomatikong salin?

Ang GPT-4.1-MINI, GPT-5.4-MINI, at GPT-5.4 ay pawang nagsalin ngllevarse el gato al agua nang idiomatiko — ngunit sa iba't ibang ekspresyong Ingles na may bahagyang magkakaibang konotasyon. Ipinapahiwatig nito na ang kalidad ng idiomatic translation ay mayroong hindi bababa sa dalawang dimensyon: kung kinikilala ba ng modelo ang idyoma, at kung anong katumbas na ekspresyon ang pipiliin nito mula sa mga magagamit na opsyon sa target na wika. Hindi malinaw na pinaghihiwalay ng mga pamantayang sukatan ng kalidad ng pagsasalin ang dalawang dimensyong ito. Sa tingin ko dapat nila.

Ang post na ito ay batay sa panloob na pagsubok sa development platform ng MachineTranslation.com. Ang pagsubok ng multi-model na bersyon na ipinapakita dito ay hindi pa magagamit sa publiko. Ibinabahagi ko ang natuklasan dahil sa tingin ko ay kapaki-pakinabang ang obserbasyon anuman ang lugar kung saan mo pinapatakbo ang iyong mga pagsasalin.