AI ɗaya, samfuri daban — kuma fassarorin ba za su iya bambanta ba

Ina gudanar da gwaje-gwajen ciki kan wani abu da ba mu yi magana a kai sosai ba a masana'antar fassara: ba ko tsarin AI daban-daban ke fassara ba daban-daban, amma ko fitowar AI guda ke fassara daban-daban—da kuma yadda yawa.

A makon da ya gabata na yi amfani da wata magana ta Mutanen Espanya guda ɗaya ta hanyar sigar ChatGPT guda biyar a lokaci guda a kan dandamalin gwaji na ciki na MachineTranslation.com. Abin da ya dawo ya sa ni tsayawa.

Sigar guda biyu sun samar da fassarar da, da gaske, ba ta da ma'ana a Turanci. An samar da fassarori guda uku masu inganci daidai. Kuma guda uku masu daidai ba su yarda da juna ba. Duk guda biyar ChatGPT

ne. Duk biyar OpenAI ne. Sama AI, daban samfurin — kuma sakamakon ba zai iya bambanta ba.

Ina raba wannan yanzu saboda ina tunanin yana da mahimmanci, ba don ina da amsoshi masu tsafta ba. Ban yi ba. Amma abin da aka lura da shi ya isa ya sanya shi a duniya.

Teburin abubuwan da ke ciki

• Jarrabawar: Harshen Mutanen Espanya guda ɗaya, sigar GPT biyar
• Me yasa wannan magana ta zama kyakkyawan gwaji
• Abin da rarrabuwar fassarar zahiri zuwa ta almara ke faɗa game da yadda waɗannan samfuran aka horar da su
• Abin da ake nufi da cewa babu wanda ya yi magana game da shi
• Ko da fassarorin daidai sun yi sabani da juna
• Abin da ban sani ba tukuna
• Tambayoyin bincike guda biyu da suka cancanci tunani

Gwaji: Harshen Mutanen Espanya ɗaya, sigar GPT biyar

A karon farko da na gwada shine llevarse el gato al agua.

Ga abin da kowace sigar ta samar:

A karon farko yana nufin cimma wani abu mai wahala sabanin yanayi, don samun nasara mai wahala. Babu ruwansa da kulle ko ruwa. Fassarar kalma-kalma ba fassara ba ce. Rubutun kalma-da-kalma ne na wata magana da samfurin ya kasa gane ta a matsayin karin magana. GPT-4o-MINI da GPT-4.1-NANO sun samar

da sakamako iri daya. Babu kamarsa, dai-dai. Bincikenmu na Fassara ya nuna wannan kai tsaye: GPT-4.1-nano da GPT-4o-mini suna fassarori iri ɗaya, suna jaddada fassarar litattafai akan ma'anar magana.

GPT-4.1-MINI, GPT-5.4-MINI, da GPT-5.4 kowannensu ya samar da wani abu da za a iya gane shi daidai - amma ba iri ɗaya ba kamar juna.

Me yasa wannan magana ta zama kyakkyawan yanayin gwaji

Ina so in yi cikakken bayani game da dalilin da ya sa llevarse el gato al agua ya zama mai amfani shigarwar gwaji maimakon wanda aka zaɓa.

Magana ce da aka kafa sosai. Yana bayyana a cikin littattafai, jaridun, da kuma maganganun yau da kullun. Babu duhu a kai. Duk wani tsarin da aka horar da shi akan rubutun harshen Sipaniyan da ya dace ya kamata ya same shi. Tambayar ba ta kasance ko samfurin ya ga wannan furucin ba. Tambayar ita ce abin da ya yi da ita.

Mafi munin yanayin gazawa a fassarar maganganu ba shi ne samar da fassarar da ba ta dace ba. Yana samar da fassarar kalma-kalma wacce take dace ga wanda bai san harshen da ake fassara ba.

Don dauko kyanwa zuwa ruwa daidai ne a harshen Ingilishi. Ya yi kyau. Yana kama da wani abu da zai iya nufin wani abu. Mai amfani da ba ya jin Mutanen Espanya zai iya karanta shi, ya yi sallama, ya kuma ci gaba — ba tare da sanin cewa ma'anar asali ta ɓace gaba ɗaya ba.

Wannan shi ne yanayin gazawar da nake damuwa da shi. Babu kuskuren da ya bayyana. Wanda ba a gani.

Abin da rarrabuwar kalma zuwa magana ta al'ada ke gaya mana game da yadda aka horar da waɗannan samfura

Tsarin nan ba na bazuwar ba ne. Samar da fassarar kalma-kalma guda biyu (GPT-4o-MINI da GPT-4.1-NANO) duk ƙananan samfura ne, masu sauƙi waɗanda aka inganta don sauri da ingancin kuɗi. Samar da fassarori masu ma'ana guda uku (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) suna wakiltar sabon tsara ko girman ma'auni.

Wannan yana nuna wani abu da nake tunani ba a bincika shi sosai ba: ƙwarewar fassarar harshe tana girma tare da ƙarfin ƙirar ta hanyoyin da ba a gani a cikin manyan gwaje-gwaje.

Manyan gwaje-gwajen harshe suna gwada tunani, ilimi, coding, lissafi. Ba su gwada ko da yaushe ko wani samfurin zai iya gane cewa ana ruwan sama kamar da bakin kwarya ba game da yanayin yanayi ba, ko kuma cewa llevarse el gato al agua ba game da sha ruwa ga kyanwa ba. Maganganun magana suna tsaye ne a inda ilimin al'adu, fahimtar mahallin da kuma gane alamu suke haɗuwa — kuma wannan haɗuwa tana buƙatar wani matakin ƙarfin samfurin da ƙananan samfurori ba sa samun nasara a kai a kai.

Abin da ba na ikirari ba: cewa manyan samfurori koyaushe suna fassara mafi kyau.‎ Bani da shaida game da hakan a matsayin kaida gaba daya. Abin da nake lura da shi: cewa ga abun da ya shafi maganganu na musamman, tazara tsakanin nau'ikan da ke cikin iyali ta fi girma fiye da yadda na zata.

Abin da ake nufi da cewa babu wanda ya ke magana a kai

Yawancin masu amfani da ke amfani da kayan aikin fassarar AI ba su san wace sigar ta wannan AI suke amfani da ita ba. Suna buɗe samfur, zaɓi nau'in harshe , kuma su sami sakamakon. Tsarin sarrafa samfurin ba a ganinsa ga waɗannan.

Wannan yana da mahimmanci a girman. MachineTranslation.com ya sarrafa fiye da ɗaruruwan dubban ayyukan fassara daga Ingilishi zuwa Sifen a cikin wa'adin kwanaki 90 kacal. Idan wani babban kaso na waɗancan ayyuka ya taɓa abun da ya shafi harshe (rubutun tallace-tallace, harshen shari'a, rubutun adabi, sadarwa ta yau da kullun) kuma kayan aikin da ke sarrafa waɗancan ayyuka yana aika masu amfani zuwa ƙaramin samfuri ba tare da saninsu ba, to daukar kyanwa zuwa ruwa yana bayyana a cikin ainihin sakamako, a cikin ainihin takardu, ga ainihin mutane waɗanda suka amince da sakamakon.

Masana'antar fassarar sun shafe shekaru suna kwatanta masu samar da AI. DeepL da Google. Claude da ChatGPT. Wadannan kwatance suna da amfani ‎. Amma a cikin mai samarwa guda ɗaya, gibin sigar na iya zama mahimmi ne - kuma gibin ne wanda yawancin tsarin kwatance ba sa aunawa saboda ba sa gwaji a matakin sigar samfurin.

Lokacin da wani ya ce Ina amfani da ChatGPT don fassara, wannan jumlar ba ta isa ta zama mai ma'ana ba. Wanne ChatGPT? Nano? 4o-mini? ‎4.1-mini? 5.4? Amsar tana canza sakamakon ta hanyoyi da ba su da sauki, aƙalla ga abubuwan da suka dace da harshe.

Hatta fassarorin da suka dace sun yi sabani da juna

Wannan shine sashen da nake ganin ya fi ban sha'awa, kuma ban gama fahimtar abin da zan yi da shi ba tukuna.

Samfurori uku da suka samar da fassarori masu dacewa da harshe sun ba da guda uku daban-daban:

• GPT-4.1-MINI: don cimma shi cikin nasara
• GPT-5.4-MINI: don samun hanyar mutum
• GPT-5.4: don fito da shi a saman

Duk ukun suna da karewa a matsayin fassarar Ingilishi na llevarse el gato al agua‎. Amma ba su daidai ba ne.

Don cimma ruwa ya jaddada aiwatarwa a kan wahala, kun yi wani abu mai wuya kuma ya yi aiki. Don samun abin da ake so yana jaddada sakamakon da kake so ya samu, ba tare da jaddada wahalar ba. Don samun nasara yana jaddada nasara a gasa, cin nasara dangane da wasu.

Magana ta asali ta Sifaniyanci tana kusa da farkon waɗannan. Kalmar tana ɗauke da ma'anar shawo kan juriya, ba kawai fifita sakamako ɗaya ba kuma samunsa ya faru. Amma samun abin da ake so da samun nasara ba su da laifi, kawai dai ba su dace ba ta hanyoyi daban-daban.

Wannan ya taso wata tambaya da na ga tana da wahala sosai: lokacin da samfura uku kowannensu ya samar da ingantaccen fassarar harshe amma daban, ta yaya za ku kimanta wacce ta fi kyau? Makinun BLEU suna kwatanta rubutun da aka fassara zuwa ga rubutun da aka fassara shi daidai — amma waye ya rubuta rubutun da aka fassara shi daidai, kuma wanne daga cikin waɗannan ukun za su zaɓa?

Harshenmu na Fassara ta AI, saboda girmamawarsa, ya yi tambayar da ta dace kafin ya yanke hukunci kan kowane sakamakon: Menene ma'anar da ake nufi da 'llevarse el gato al agua' a wannan mahallin?‎ An gabatar da zaɓuɓɓuka uku — don cimma wata manufa mai wahala, ko ɗaukar wani abu da ba shi da amfani, ko kuma shiga cikin wani aiki mai haɗari. Tambayar nan ba ta ado bace. Shi ne hanyar da ake warware rudanin mahallin kafin a kammala fassarar. Amma abin ya tsaya: amsoshi guda

uku daidai, uku daban-daban na ma'ana. Kayan aikin kimanta fassarar ba su da tasiri ga irin wannan bambance-bambance.

Abin da ban sani ba tukuna

Ina so in yi gaskiya game da iyakokin abin da wannan gwajin ya nuna.

Harshe ɗaya, ma'aurata harsuna ɗaya, kwana ɗaya na gwajin ciki. Wannan ba nazari ba ne. Abin lura ne. Ban san ko wannan tsarin (ƙananan samfura suna komawa ga ma'ana ta zahiri, manyan samfura suna samun ma'anar magana) yana ci gaba da kasancewa koyaushe a cikin:

• Sauran maganganun Mutanen Espanya
• Sauran nau'i-nau'i na harsuna tare da al'adun magana masu arziki (Larabci, Jafananci, Rashanci duk suna zuwa a hankali)
• Abun da ba na magana ba inda bambancin bai dace ba
• Abubuwan da suka faru inda ƙaramin samfuri ya sami magana daidai kuma babba ya rasa ta

Haka kuma ban san ko wannan dukiya ce mai dorewa na waɗannan samfura ko wani abu da ke canzawa tare da sabuntawa da kuma daidaitawa. Masu samar da samfura ba sa buga rajistar canje-canje na musamman don fassarar. Samfurin da ke sarrafa llevarse el gato al agua daidai a yau na iya samun sabuntawa a wata mai zuwa, kuma ba za mu san ta yadda za mu sani ba.

Abin da na sani: wannan gwajin ya samar da sakamako mai ban sha'awa wanda nake so in gudanar da ƙarin su, ta hanyar tsari, a kan ƙarin nau'i-nau'i na harsuna da nau'ikan abun ciki. Idan ina da abin da zan ƙara bayyanawa, zan yi. Tambayoyin

bincike guda biyu da suka cancanci zaune tare da

su Zan rufe da tambayoyi biyu da wannan gwajin ya bar ni da su. Ba zan amsa su ba, ban da bayanai da zan yi hakan tukuna. Amma ina tsammanin su ne tambayoyin da suka dace a yi.

Na farko: a wane matakin iyaka ne ƙwarewar magana ta zama abin dogaro? Ƙaruwar daga

GPT-4o-MINI da GPT-4.1-NANO (duka na zahiri) zuwa GPT-4.1-MINI (na magana) yana nuna cewa akwai wani iyaka a cikin kewayon sigogi tsakanin waɗannan girman samfurin inda ganin magana ke kunnawa. Shin yana daidai? Shin yana aiki ga maganganun magana a duk harsuna, ko kuma ya dogara da yadda harshen ya kasance a cikin bayanan horo? Ban sani ba. Amma sanin zai yi amfani ga duk wanda ke gina ayyukan fassara.

Na biyu: menene rashin bayyana sigar samfuri ke kashe masu amfani a babban matsayi?

Idan mai amfani ya aika takardu 1,000 a kowane wata ta hanyar kayan aiki wanda bai bayyana wane sigar samfuri ake amfani da ita ba (kuma wasu daga cikin waɗannan takardu sun ƙunshi abun ciki na musamman), sau nawa ne gazawar zahiri ke faruwa ba tare da ganuwa ba? Ta yaya za su sani? Menene farashin, a zahiri, na rashin sanin?

Ina tsammanin wannan tambaya ce mafi mahimmanci fiye da mafi yawan wace AI ce ta fi dacewa don fassarawa kwatancen da ke peredawa a halin yanzu. Amsar ba ta kasance yi amfani da mafi girman samfurin ba. Amsar na iya kasancewa: sani abin da kake amfani da shi, gudanar da gwaje-gwajenka a kan abincinka, kuma kada ka yi tsammanin cewa sunan wani mai samarwa yana tabbatar da daidaitaccen hali a duk faɗin samfurin su range.

Wannan, aƙalla, abin da nake ɗauka daga wannan gwajin.

Tambayoyin bincike

1. Shin girman samfurin yana iya faɗin ingancin fassarar maganganu?

Dangane da wannan gwaji guda ɗaya: ƙananan samfura masu inganci a cikin dangin AI ɗaya sun yi fassarar maganganu na harshen Sipaniyan da aka sani da literal, yayin da manyan/sabon juzu'i na wannan samfurin sun samar da ingantattun fassarori na maganganu. Ko wannan ya tsaya ga nau'ikan maganganu da nau'ikan harsuna shine tambaya ta gaba. Zan gudanar da ƙarin gwaje-gwaje.

2. Me yasa fassarori uku masu kyau na maganganu suka samar da sakamako uku masu ma'ana daban-daban? GPT-4.1-MINI, GPT-5.4-MINI,

da GPT-5.4 duk sun fassara llevarse el gato al agua ta hanyar magana — amma zuwa kalmomi daban-daban na Turanci tare da ma'anoni masu banbanci. Wannan ya nuna cewa ingancin fassarar maganganu yana da aƙalla girma-girma guda biyu: ko dai tsarin ya gane maganar a duk duniya, kuma wanne magana ce ta dace da ta zaɓa daga harshen da ake fassara zuwa ga zaɓuɓɓuka masu yawa. Ma'auni na ingancin fassarar gargajiya ba su raba waɗannan bangarori biyu yadda ya kamata. Ina tsammanin ya kamata su yi.

Wannan sakon ya dogara ne akan gwaji na ciki akan dandalin ci gaban MachineTranslation.com. Wannan gwajin sigar da yawa da aka nuna anan ba a bayar da shi ga jama'a ba tukuna. Ina raba sakamakon saboda ina ganin lura da hankali yana da amfani komai inda kake gudanar da fassarorin ka.