AI yẹn náà, kò yàtọ̀ sí èyí tí a lò tẹ́lẹ̀, ṣùgbọ́n èyí tí a lò báyìí yàtọ̀, ìtumọ̀ rẹ̀ sì yàtọ̀ pátápátá.

Mo ti nse idanwo inu lori nkan kan ti a ko sọrọ nipa to ni ile-iṣẹ itumọ: kii ṣe boya awọn eto AI oriṣiriṣi n tumọ ni ọna oriṣiriṣi, ṣugbọn boya awọnẹya oriṣiriṣi ti AI kannatumọ ni ọna oriṣiriṣi — ati nipasẹ iye wo.

Ni ọsẹ to kọja Mo ṣe idanwo ọrọ Gẹẹsi kan nipasẹ awọn ẹya marun-un ti ChatGPT ni akoko kanna lori pẹpẹ idanwo inu MachineTranslation.com. Ohun ti o pada duro mi.

Awọn ẹya meji ṣe agbejade itumọ ti, nitootọ, ko ni oye ni Gẹẹsi. Àtọ́kọ̀ mẹ́ta ló ṣe ìtumọ̀ tí ó tọ́ tí ó sì jẹ́ ọ̀rọ̀ ìbílẹ̀. Àti pé àwọn mẹ́ta tó tọ́ náà kò gbọ́ ara wọn. Gbogbo márùn-ún náà jẹ́

ChatGPT. Gbogbo marun-un jẹ OpenAI. AI kanna, awoṣe miiran — ati awọn abajade ko le yatọ si. Emi n pin eyi ni bayi nitori Mo ro pe o ṣe pataki, kii ṣe nitori Mo ni idahun ti o mọ. Mi ò. Ṣùgbọ́n ìwòye náà ti lágbára tó láti fi síta.

Àkójọ àwọn ohun tó wà nínú rẹ̀

• Ìdánwò náà: Ọ̀rọ̀-òfin èdè Sípéènì kan, àwọn ẹ̀yà GPT márùn-ún
• Kí nìdí tí ọ̀rọ̀-òfin yìí fi jẹ́ àkàrò tó dára
• Ohun tí ìyàtọ̀ láti ọ̀rọ̀ gbangba sí ọ̀rọ̀-òfin sọ̀rọ̀ nípa bí àwọn àwòrán wọ̀nyí ṣe kọ́ wọn
• Ìtumọ̀ tí ó dà bíi pé kò sí ẹni tó ń sọ̀rọ̀ nípa rẹ̀
• Àní àwọn ìtumọ̀ tó tọ́ kò fi ara wọn gbà
• Ohun tí mi ò mọ̀ títí di ìsinsìnyí
• Àwọn ìbéèrè ìwádìí méjì tó yẹ kí wọ́n dúró títí

Àkàrò náà: Ọrọ ede ede Spanish kan, awọn ẹya GPT marun

Gbolohun ọrọ ti Mo ṣe idanwo ni llevarse el gato al agua.

Eyi ni ohun ti ẹya kọọkan ṣe:

Gbolohun ọrọ naa tumọ si lati ṣaṣeyọri nkan ti o nira lodi si awọn aye, lati ṣe aṣeyọri iṣẹgun ti o nira. Ko ni ṣe pẹlu ologbo tabi omi. Itumọ ọ̀rọ̀ gidi kì í ṣe ìtumọ̀. Ó jẹ́ àkọsílẹ̀ ọ̀rọ̀-lẹ́yìn-ọ̀rọ̀ ìgbéyàwó tí ẹ̀rọ̀ náà kùnà láti mọ̀ gẹ́gẹ́ bíi ọ̀rọ̀-òǹkà. GPT-4o-MINI àti GPT-4.1-NANO ṣe àwọn ohun tí wọ́n ṣe bákan náà. Ko jọra, o jọ kanna. Awọn Onimọran Itumọ Wa ṣe afihan eyi taara: GPT-4.1-nano ati GPT-4o-mini pínpín papọ̀ ìtumọ̀ kan náà, tí wọ́n sì fi ìtumọ̀ gangan síwájú ju ìtumọ̀ ọ̀rọ̀ àtọwọ́dọ́wọ́ lọ.

GPT-4.1-MINI, GPT-5.4-MINI, àti GPT-5.4 kọ̀ọ̀kan ṣe ohun kan tí ó ṣeé mọ̀ pé ó tọ́ — ṣùgbọ́n kì í ṣe ohun kan náà bíi ti ara wọn.

Kí nìdí tí ọ̀rọ̀ àtọwọ́dọ́wọ́ yìí fi jẹ́ àkàrò ọ̀rọ̀ tó dára

Mo fẹ́ sọ̀rọ̀ kedere nípa ìdí tí llevarse el gato al agua fi jẹ́ ohun tí ó wúlò láti fi wádìí dípò ohun tí a yàn tẹ́lẹ̀.

Ó jẹ́ ọ̀rọ̀ àtọwọ́dọ́wọ́ tí a ti mọ̀ dáradára. O farahan ninu litireso, iroyin, ati ọrọ̀ ojoojumọ. Ó kò ṣeé ṣòfò. Awoṣe eyikeyi ti o ba ti kọ ẹkọ lori iwe-aṣẹ ti o ni oye ti ọrọ Spani yẹ ki o ti pade rẹ. B ìbéèrè náà kì í ṣe bóyá àwòrán náà ti rí ọ̀rọ̀ náà. Ibeere naa ni ohun ti o n se pelu re.

Iṣẹ́ àṣìṣe jùlọ nínú ìtumọ̀ èdè àtọwọ́dọ́wọ́ kì í ṣe àtúmọ̀ tí kò dára ‎. O n mu itumọ ọ̀rọ̀-lẹ́tà kan jáde tí ó wòó gbà fún ẹni tí kò mọ̀ èdè tí a ń túmọ̀ sí.

Lati gbe ologbo lọ si omi jẹ Gẹẹsi ti o tọ ni ọ̀rọ̀-gbamọ̀. O dáradà. Ó dabi ohun kan tí ó lè túmọ̀ sí ohun kan. Olùlòkò kan tí kò mọ̀ọ́ Sípéènì lè ka á, kí ó sì gbọ̀n, kí ó sì máa lọ — láì mọ̀ pé ìtumọ̀ àkọ́kọ́ náà ti nù patapata.

Ìyẹn ni ìbàjẹ́ tí mo bìyànjú. Kii ṣe aṣiṣe ti o han gbangba. Agbà ti a kò lè rí.

Ohun tí ìyapa ọ̀rọ̀-lẹ́tà sí ọ̀rọ̀-gbólóhùn sọ fún wa nípa bí wọ́n ṣe kọ́ àwọn àwòrán wọ̀nyí

Ìṣàlẹ̀ ohun tí ó wà níbí kì í ṣe àròkò. Awọn awoṣe meji ti o ṣe awọn itumọ ọrọ gangan (GPT-4o-MINI ati GPT-4.1-NANO) jẹ awọn awoṣe kekere, ti o fẹẹrẹfẹ ti a ṣe atunṣe fun iyara ati iṣowo-ṣiṣe. Àwọn ìmọ̀ràn mẹ́ta tí wọ́n ṣe ìtumọ̀ tó jẹ́ ọmọlẹ́yìn èdè (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) ṣàpẹẹrẹ ìran mìíràn tàbí ìwọ̀n àmì-òkòtò.

Èyí fi ohun kan hàn tí mo rò pé a kò tíì ṣàwárí rẹ̀: agbára ọmọlẹ́yìn èdè nínú ìtumọ̀ máa ń pọ̀ sí i pẹ̀lú agbára ìmọ̀ràn lọ́nà tí kò fara hàn nínú àwọn àkójọpọ̀ ìwádìí gbogbogbò.

Àwọn àkójọpọ̀ ìwádìí gbogbogbò èdè ń díwọ̀n ọgbọ́n ìdáhùn, ìmọ̀, ìkọ̀wé kọ́m̀putà, àti ìṣirò. Wọn kò sábà ṣàwárí bóyá àwòrán kan lè mọ̀ pé pé òjò ń rọ̀ bíi ti ẹranko kì í ṣe nípa ipò ojú ọjọ́, tàbí pé llevarse el gato al agua kì í ṣe nípa fífọ omi sí ológbò kan. Àwọn ọ̀rọ̀ àmúṣe wà ní ibi tí ìmọ̀ àṣà, ìgbàgbọ́ nípa àyíká àti ìwádìí àwòrán ti pàdé — àti pé ibi tí wọ́n ti pàdé yìí dà bíi pé ó nílò ìpele kan nínú agbára àwòrán tí àwọn àwòrán kékeré kò nílẹ̀ tó dára.

Ohun tí mi ò sọ: pé àwọn àwòrán tó tóbi jù lọ máa ń ṣe olùtúmọ̀ tó dára jù lọ. Mi ò ní ẹ̀rí fún ìyẹn gẹ́gẹ́ bí òfin gbogbogbò. Ohun tí mo ń rí yí: pé fún ohun tí a máa ń sọ tòótọ́, àwọn ìyàtọ̀ tí ó wà láàárín ìdílé jẹ́ èyí tí ó ju èyí tí mo retí lọ.

Ìtumọ̀ tí ó dà bíi pé kò sí ẹni tó ń sọ̀rọ̀ nípa rẹ̀

Òǹkàwé tí wọ́n máa ń lo irinṣẹ́ ìtumọ̀ AI jù lọ kò mọ ìyàtọ̀ èwo ni wọ́n ń lò láti ọ̀dọ̀ AI náà. Wọ́n ṣí ọjà kan, yan páàrì èdè kan , wọ́n sì rí èsì jáde. Iṣẹ́ ìròyìn àwọn àwòrán kò fara han wọn.

Èyí ṣe pàtàkì níwọ̀n tó bá pọ̀. MachineTranslation.com ti ṣe ilana awọn iṣẹ itumọ Gẹẹsi si Spani ti o ju ọgọọgọọrọ lọ ni akoko ọjọ 90 kan. Bí ó bá jẹ́ pé ọ̀pọ̀lọpọ̀ iṣẹ́ náà níí ṣe pẹ̀lú ohun tí a lè tọ́ka sí gẹ́gẹ́ bí èdè ìbílẹ̀ (àwọn ọ̀rọ̀ ìpolówó, èdè òfin, ìwé àtẹ̀jáde, ìbánisọ̀rọ̀ lásán) tí irinṣẹ́ náà sì ń darí àwọn iṣẹ́ náà sí àwọn àwòrán kékeré láìjẹ́ pé wọ́n mọ̀, nígbà náà ni láti gbé ológbò lọ sí omi yóò máa hàn nínú àwọn ìdáhùn gidi, nínú àwọn ìwé gidi, fún àwọn ènìyàn gidi tí wọ́n gbẹ́kẹ̀ lé èsì náà.

Ilé iṣẹ́ ìtumọ̀ ti lo ọ̀pọ̀lọpọ̀ ọdún láti fi àwọn olùpèsè AI wé.DeepL tàbí Google. Claude pẹlu ChatGPT. Awọn afiwe wọnyẹn wúlò. Ṣùgbọ́n láàrin olùpèsè kan náà, àwọn àkàrò ìyàtọ̀ ọ̀tọ̀ọ̀tọ̀ lè jẹ́ bí ó ti pọ̀ tó — ó sì jẹ́ àkàrò tí ọ̀pọ̀lọpọ̀ àwọn ètò ìwéwèé kò wọnwọn nítorí pé wọn kò wádìí ní ìpele àwọn àwòrán-ìyí.

Nígbà tí ẹnì kan bá sọ̀rọ̀ pé, “Mo lo ChatGPT fún ìtumọ̀,” ọ̀rọ̀ náà kò tó láti jẹ́ èyí tó nígbọ́nmọ́. ChatGPT wo? Nano? 4o-mini? ‎4.1-mini? 5.4? Idahun naa yipada iṣẹjade ni awọn ọna ti kii ṣe pataki, o kere ju fun akoonu ti o jẹ ti ara.

Paapaa awọn itumọ ti o tọ ko ni itẹlọrun ara wọn

Eyi ni apakan ti mo rii ti o nifẹ julọ, ati pe emi ko tii ṣiṣẹ patapata ohun ti yoo ṣe nipa rẹ sibẹsibẹ.

Awọn awoṣe mẹta ti o ṣe awọn itumọ ti o jẹ ti ara funni ni mẹta yatọ:

• GPT-4.1-MINI: lati ṣaṣeyọri
• GPT-5.4-MINI: lati gba ọna ọkan
• GPT-5.4: lati bori

Gbogbo mẹta jẹ awọn ifihan Gẹẹsi ti o le ṣe aabo ti llevarse el gato al agua‎. Ṣùgbọ́n wọn kò jọra.

Láti ṣe é fojú fo ìṣe lórí ìṣòro, o ṣe ohun kan tó ṣòro, ó sì ṣàṣeyọrí. Lati gba ọna tirẹtẹnumọ abajade ti o fẹ lati ṣaṣeyọri, pẹlu idojukọ diẹ si ṣoro naa. Lati jáwé olúborí tọka si iṣẹ́gun ìdíje, ṣíṣẹ́gun ní ìwé pẹ̀lú àwọn ẹlòmíì.

Òwe èdè Sípéènì ìpilẹ̀bẹ̀ jẹ́ ìwọ̀nyí tí ó sún mọ́ èyí àkọ́kọ́ jùlọ. Àwọn ọ̀rọ̀ náà mú ìtumọ̀ ìṣẹ́gun ìkọ̀ọ̀rọ̀, kìí ṣe níní ìfẹ́ sí èsì kan tí ó sì ṣẹlẹ̀. Ṣùgbọ́n láti rí ojú rere àti láti borí kò ṣe àṣìṣe, àwọn náà ṣàìtọ́ ní ọ̀nà yíyà títí. Èyí mú ìbéèrè kan wá tí mo rí i pé ó ṣòro gan-an: nígbà tí àwọn ìmọ̀ràn mẹ́ta bá ṣe ìtumọ̀ tí ó tọ́ ṣùgbọ́n tí ó yàtọ̀ sí ara wọn, báwo ni

o ṣe lè ṣe ìwádìí èwo ni ó dára jù?‎ Awọn iṣiro BLEU ṣe afiwe si itumọ itọkasi kan — ṣugbọn tani o kọ itọkasi naa, ati eyi ninu awọn mẹta wọnyi ni wọn yoo ti yan?

Aṣoju Itumọ AI Wa, si ọla rẹ, beere ibeere ti o tọ ṣaaju ki o to ṣe si eyikeyi iṣẹjade: Kí ni ìtumọ̀ tí a fẹ́ kí á fi òwe náà 'llevarse el gato al agua' yé ní ojú àlàyé yìí? Àwọn ohun mẹ́ta ni wọ́n nawọ̀ fún un — láti ṣàṣeyọrí ìgbòyà kan, láti gba ohun tí kò ṣe pàtàkì, tàbí láti ṣe ohun kan tí ó léwu. Àwọn ìbéèrè náà kò ṣọ́ṣọ́. Ó jẹ́ ọ̀nà tí a fi ń yanjú àròyé tí ó wà nínú ọ̀rọ̀ kí a tó parí ìtumọ̀ rẹ̀.Ṣùgbọ́n ohun tó ṣe pàtàkì ni pé: ìdáhùn tó tọ́ mẹ́ta, ìtumọ̀ mẹ́ta tó

yàtọ̀.‎ Awọn irinṣẹ igbelewọn itumọ ko ni kọ fun iru ijinlẹ yii.

Ohun ti emi ko mọ sibẹsibẹ

Mo fẹ lati jẹ otitọ nipa awọn opin ohun ti idanwo yii fihan.

Ọrọ-ọrọ kan, bata ede kan, ọjọ kan ti idanwo inu ile. Iyẹn ki i ṣe ìwádìí. O jẹ akiyesi. Emi ko mọ boya aṣa yii (awọn awoṣe kekere ti o ṣeto si ọrọ gangan, awọn awoṣe ti o tobi julọ ti o ṣaṣeyọri ni ede ti ara) duro ni aṣa kọja:

• Awọn ọrọ ede Spani miiran
• Awọn orisii ede miiran pẹlu awọn aṣa ede ti o ni ọrọ
• (Arabic, Japanese, Russian gbogbo wọn wa si ọkan)
• Awọn akoonu ti kii ṣe ede nibiti iyatọ ko wulo
• Awọn ọran eti nibiti awoṣe kekere kan gba ede naa ni deede ati ẹni nla kan padanu rẹ

Emi ko tun mọ boya eyi jẹ ohun ti o duro ti awọn awoṣe wọnyi tabi nkan ti o yipada pẹlu awọn imudojuiwọn ati iṣatunṣe. Awọn olupese awoṣe ko ṣe atẹjade awọn atokọ ayipada ti o ni pato si itumọ. Ẹya awoṣe kan ti o mu llevarse el gato al agua ni deede loni le ni imudojuiwọn ni oṣu ti n bọ, ati pe a kii yoo mọ.

Ohun ti mo mọ: idanwo yii ṣe abajade ti o nifẹ to ti mo fẹ lati ṣiṣẹ diẹ sii ninu wọn, ni ọna ti o ni ilana diẹ sii, kọja awọn orisii ede diẹ sii ati awọn iru akoonu. Nigbati mo ba ni nkankan siwaju sii lati pin, emi yoo ṣe. Awọn

ibeere iwadi meji ti o tọ si ijoko pẹlu Emi yoo pari pẹlu

awọn ibeere meji ti idanwo yii fi mi silẹ. Emi ko ni dahun won, mi o ni data lati se bee sibẹsibẹ. Ṣùgbọ́n mo rò pé àwọn ìbéèrè tó tọ́ ni láti béèrè.

Àkọ́kọ́: ní ìpele ìwọ̀n wo ni agbára èdè gbọ́dọ̀ gbẹ́kẹ̀ lé?

Ìrìn láti GPT-4o-MINI àti GPT-4.1-NANO (àwọn méjèèjì jẹ́ ọ̀rọ̀ gidi) sí GPT-4.1-MINI (èdè) fi hàn pé ìpele kan wà ní ibì kan nínú ìwọ̀n àwọn àwòrán tí ìmọ̀ràn èdè dá sílẹ̀. Ṣe o jẹ́ ìfaradà? Ṣe ó kan àwọn ọ̀rọ̀-àṣà ní gbogbo èdè, tàbí ó gbára lé bí èdè kan ṣe ní aṣojú tó dáradára nínú adàpọ̀ ìkọ́nilẹ́kọ̀? Mi o mo. Ṣùgbọ́n mímọ̀ yóò jẹ́ ohun tó ṣe pàtàkì fún ẹnikẹ́ni tó ń kọ́ àwọn iṣẹ́ ìtumọ̀.

Ẹlẹ́ẹ̀kejì: kí ni ìwòye àtẹ̀lẹtẹ̀ ẹ̀yà ìwòye jẹ́ fún àwọn olùlò ní ìpele tó ga?

Tí olùlò kan bá rán àwọn àkójọpọ̀ ìwé 1,000 lọ́wọ́ lọ́wọ́ gẹ́dégẹ́dẹ́ láti inú irinṣẹ́ kan tó kò fi ìdí ìwòye tí wọ́n ń lò hàn (àti pé àwọn mìíràn nínú àwọn àkójọpọ̀ ìwé náà ní ohun tó jẹ́ àṣà ìbílẹ̀), ìgbà mélòó ni ìṣàìṣẹ̀ tó tọ́ka sí ohun tó ṣẹlẹ̀ ń ṣẹlẹ̀ láìfarahàn? Ṣé wọn yóò ti mọ̀ bí? Kí ni iye rẹ̀, ní ti gidi, tí a kò bá mọ̀ títí láé?

Mo rò pé ìbéèrè yìí ṣe pàtàkì ju ọ̀pọ̀lọpọ̀ àwọn ìwé ìjíròrò nípa ìwọ̀nyí tí ó dára jù lọ fún ìtumọ̀ tí wọ́n ń tan kálẹ̀ báyìí lọ. ‎ Idahun naa kii ṣe lo awoṣe ti o tobi julọ. Idahun naa le jẹ: mọ ohun ti o nlo, ṣiṣe awọn idanwo tirẹ lori akoonu tirẹ, ki o si maṣe ro pe orukọ olupese kan jẹ iṣeduro ihuwasi ti o duro ṣinṣin kọja awoṣe wọn ibiti.

Iyẹn ni, o kere ju, ohun ti Mo n mu lati idanwo yii.

Awọn ibeere iwadi

1. Ṣe iwọn awoṣe ni igbẹkẹle ṣe asọtẹlẹ didara itumọ ọrọ-ọrọ?

Da lori idanwo ẹyọkan yii: awọn awoṣe ti o kere, ti a ṣe iṣapeye fun ṣiṣe laarin idile AI kanna ni a fi si itumọ ọrọ-ọrọ ti ẹya ara ilu Spani ti a ti fi idi mulẹ daradara, nigba ti awọn ẹya ti o tobi julọ/titun julọ ti awoṣe kanna ṣe awọn aworan ọrọ-ọrọ ti o tọ. Ṣe èyí bá mú ṣẹ káàkiri àwọn ẹ̀ka ọ̀rọ̀ àti àwọn orílẹ̀-èdè ni ìbéèrè tó tẹ̀ lé. Emi yoo ṣe awọn idanwo diẹ sii.

2. Kí ló dé tí ìtumọ̀ èdè tó tọ́ mẹ́ta fi yọ àwọn ohun mẹ́ta tó yàtọ̀ sí ara wọn nípa ìjọ́?

GPT-4.1-MINI, GPT-5.4-MINI, àti GPT-5.4 gbogbo wọn lo ìtumọ̀ èdè llevarse el gato al agua ní ọ̀nà tó tọ́—ṣùgbọ́n sí àwọn ọ̀rọ̀ èdè Gẹ̀ẹ́sì tó yàtọ̀ sí ara wọn nípa ìjọ́. Èyí fi hàn pé ìtumọ̀ èdè àtọwọ́dọ́wọ́ ní ó kéréjù, ó ní ojú méjì: bóyá àwọn èrò-orí mọ̀ ọ́n rí, àti èyí tí ó yàn láti inú àwọn ohun tí a lè pè ní èdè tí a ń túmọ̀ sí wà. Awọn wiwọn didara itumọ boṣewa ko yapa awọn iwọn meji wọnyi ni kedere. Mo ro pe o yẹ ki wọn. Ifiweranṣẹ

yii da lori idanwo inu lori pẹpẹ idagbasoke MachineTranslation.com. Idanwo awoṣe pupọ ti a fihan nibi ko tii wa fun gbogbo eniyan. Mo n pin awari naa nitori mo ro pe akiyesi naa wulo laibikita ibi ti o ti nse awọn itumọ rẹ.