July 10, 2026
Kalma biyu. Kayan samfur gida. Yanke shawo daban-daban guda uku. Ga'i abin da ya faru lokacin da na gudnar da jumlobi takwas na gwaji ta hanyar sabuwar samfuran AI da suke akwai a kan MachineTranslation.com, da abin da abubuwan da aka fito daga gida suka bayyana a game da lokacin da samfuri ya gazawa a shiru.
Kalmomi biyu. Dan nan ya fi kyau. Kayan samfur gida. Jiya daban-daban na fassara guda uku.
A cikin Jafananci, wata tsari ta bayyana shi azaman それはやばい, na kiyaye rashin jiya. Wani ya watsar da kalmomar jiya gaba daya kuma ya rubuta siffar tsari やばい, mafi colloquial sigar da zai yiwu. Wani na uku ya rubuta それはすごい, wanda ke warware rashin jituwa gaba ɗaya zuwa "ban mamaki," yana cire ma'anar biyu da ya sa jimllar ta kasance mai ban sha'awa a farko. A cikin Hausa, wani tsarin ya rubuta Đỉnh vậy (slang, daidai don mallakin matashi). Wani ya rubuta Hakika abin mamaki ne, grammatically sound, amma kusa da cewa "wannan abin mamaki ne" lokacin da wani ya aika maka meme.
Duk waɗannan suna iya jurewa. Babu daya daga cikinsu da ya yi daidai. Kuma idan kuna gudanar da fassarori ta hanyar wata model gida, ba za ku taɓa ganin zaɓin da aka yi a madawakinku ba.
Wannan shine babbar tambaya da wannan labarin ke kokarin amsa. Ba wane AI model ne mafi kyau don fassara a 2026 (amsa ta dogara da hanyar yare, tsarin magana, yankin aiki, da tsarin jumla), amma maimakon haka: kina yadda zaka sani lokacin da modelarka ta yi karya? Musamman a yankunan kamar ilimin likita, kwantat shari'a, ko tsarin aiki na ƙwararru, inda karya ta yi daidai da fassarar daidai har sai wani ƙwararru ya karantawa.
Ga abin da na yi. Na gudu jajiya 8 jumle ta gwaji ta hanyar nau'i-nau'i biyu a kan MachineTranslation.com: farko tushe na nau'ikan 5 da aka fi amfani da su, sannan kuma waje mai yawa wanda ya ƙara nau'ikan sabon premium-tier model variants da ke akwai yanzu ga masu biyan kuɗi. Jiya da jiya, kwatantawa da fitowar samfuran irin wannan zai nufin samun kuɗi na waje tare da kowane mai samarwa daban-daban. A kan MachineTranslation.com, suna zaune a cikin daidaitaccen gida gida. Jerin harsuna sun kasua Turanci→Japon da Turanci→Vietnamese. Jerin zaɓi na jumla an zaɓa su da gaske don gwaji-aiki a wuraren da rashin jituwa na model ya fi tasiri: tsarin kiɗa, kalmomin shari'a, kalmomin likita, mahallin da ya dace da tsari, da rashin bayyananniyar ma'ana da gida.
Sanarwa game da hanyar kimantawa: binciken jami'in hanyoyin sadarwa ya kasance yana kokarin sannan yadda za a iya yin kimantawa ga abubuwan da aka fito ta atomatik. Matakan kamar BLEU da COMET kamar yadda aka auna a cikin ayyukan raba WMT suna ba da sigina mai amfani ta jama'a, amma suna rashin iya gano kuskuren jimloli, gazawar kadarori, da daidaituwar kalmomin aiki, jus abubuwan da suka fi dacewa a nan. Abin da za ka karanta shi jiya shi ne bincike sakamako, ba gida BLEU race ba.

Ba kowane jumla ba ce ta bayyana rashin jiya da jiya mai ma'ana. Jiya biyu daga cikin gwaje-gwaje takwas, "Bari mu taɓa jiya jiya da jiya sai guguwar wannan kasua" (→ Hausa) da "Muna ƙone mai tsanani don bugi wannan ranar budewa" (→ Hausa), sun haifar da yarda mai girma a cikin juyawa biyu. An idioms a sun fahimta daidai a matsayin idioms. Babu wanda ya fassara "touch base" a matsayin taɓowa da tushe na jiki. Babu wanda ya fassara "the dust settles" a matsayin kwai mai faɗuwa.
Wannan yana da mahimmanci a tsayawa: yaren kasua na Turanci mai amfani da kiɗa ana iya sanin shi sosai ta hanyar ƙarfin ƙididdiga na yanzu idan kiɗar ba ta zama gida ba. Jimillar gida don "touch base" ya tsaya a tsaye a cikin juyawa biyu; bambanci ya kasance sai dai a salon, game da ko za a yi amfani da この件 (wannan abu), この取引 (wannan kasuwa), ko この案件 (wannan shari'a) don jumlar tushe.

Gwajin "ƙona man dare" shine inda abubuwa suka fi ban sha'awa. Duk wata samfuri sai ɗaya ne ya fahimci kiɗar magana daidai. MiniMax M2.7, wanda aka gabatarwa a Round 2, ya fassara "burning" a takaici, yana samar đốt đuốc, wanda ke nufin "burning torches." Jama'a ta keɓe shi daidai.

Hausa wata harshe ce da ta da tsarin haushi. Zaɓin ƙarshen fi'ili, kamancin gida, da siffar sunin tunani ba shi da salo. Yana nuna alaƙa tsakanin mai magana da mai karɓa. Aika saƙo ga shugaban kamfaninku ta hanyar amfani da sauƙaƙƙen nau'in fi'ili ba shi da kuskure na jami'a a ma'anar nahawu. Kuna da kuskure na jama'a, kuma babbar kuskure ne.
Za ka iya aikawa haka? Na gode, na yaba da shi." Jigon: sadarwa da shugaban kamfani.

Yarjejeniyar ta canja lokacin da taron ƙwararrun ya faɗi. Tsarin aiki shi ne mai saukilin fahimwa: ƙara da models da suka karanta daidai jiyya na tsarin ƙa'ida sun canza yawancin ra'ayi, kuma jama'a ta bi. Ga nan cikakken baje'u da samfuran da suka samar a Zagaye na 2:

Gwajin Vietnamci ya bayyana wani nau'i daban na kuskuren tsari, wanda ya fi subtilɓe. Jimlar asali: "Sannu, wata tambaya - kana da lokaci don shiga waya?" Mahallin: aika sako ga abokin ciniki. Qwen a haɗa "mình," waɗanda shine jariƙar mutum na farko wanda ke nuna haɗin kai na kasua a Zagaye na Farko. Kowane wani model ya guje wa asalin juyawa na farko gaba daya, wanda shine mafi aminci na aiki. Mahimmanci, Qwen ya gyara wannan a Round 2 kuma ya dena "mình." Jami'in ra'ayi a cikin juyawa biyu duka ya kewarewa shi.

Jumlar karbar laifi tsakanin mai sida da abokin ciniki shine wani tsari na yau da kullun a cikin yarjejeniyoyin kasuwanci: "Masu siyarwa dole ne su karɓi jiya da abin da ya faru daga ƙin ƙarni na uku saboda karya na wannan yarjejeniya."
A Zagaye na 1, dukkan samfura biyar sun gano daidai rajistan shari'a kuma sun yi amfani da kalmomin aro ベンダー (mai kaya) da クライアント (abokin ciniki), waɗanda ke daidaitattu a kwangilolin kasuwanci na Japan da suka fito daga Turanci. Wata keɓantacce: GPT-4.1-NANO ya yi amfani da 販売者 (mai siyarwa) da 顧客 (abokin cinikin), kalmomi na Japaninanci masu inganci waɗanda ba su da tsarin shari'a na loanword equivalents.
Bincike mafi mahimmanci ya fito a Jere na 2. Babbar bambanci shine tsakanin kalmomi biyu:
Waɗannan sune ra'ayoyi daban-daban na shari'a. "Indemnify" a cikin gida yana nufin kariya wani bangare daga alhaki na waje. 免責 shine madaidaicin kalmar shari'a. Duk samfuran Round 1 sun yi amfani da 補償. A cikin Round 2, DeepSeek V4-Pro shine kawai shine model da ya samar da 免責, kuma ta yi haka a Round 2 ne kawai, ba Round 1 ba.

A cikin kwangila, 補償 da 免責 ba su da daidai ma'ana. Daya yana nufin "za mu maimaita maka." Jiya naman yana nufin "ba a iya bugi ka da da'awa ba." Idan wani dandali na fassara ya yi amfani da 補償 inda 免責 ce daidai, lakari da ke karantawa sigar Hausa ba zai ga juna cikin yarjejeniya da sigar Turanci ta bayyana.
Wannan shine mafi mahimmacin bincike a cikin bayanan. Jimlar gwaji: "Wannan maganin ba a bukatarsa a cikin marubuta da suka kasance da matsalar jini." Tushen: takaita samfurin likita. Manufa: Hausa.
Mahimmancin kalma ita ce "lahani na hanta." Akwai sakamakon Vietnamese gida biyu:
Waɗannan sun bambanta a fannin likitanci. Gargajiya da aka danganta da "lahani na hanta" tana shafi kowa da ke da aiki na hanta da ke raguwa, ba kawai waɗanda suka fuskanci gazawar cikakken jiki ba. Yin amfani da suy gan yana takaita jama'ar da aka nuna ba daidai ba. Majinyar da ke da matsanancin rashin aiki na hanta wanda ke karanta suy gan ba zai iya gane kansu a matsayin jama'a da aka haramta ba.

Wasu jimlolin tushe suna da rashin bayyana ta gida. "That's sick" a cikin jargon na zamani na Turanci yana nufin wani abu mai kyau sosai, amma har yanzu yana dauke da ma'anarsa ta ainihi (wato abin da ke bugi/abin da ke kawar da ji), kuma tashin hankali tsakanin waɗannan ma'anoni shine wani ɓangare na yadda jirgin nan ke sadarwa. Ƙalubalen samfurin fassara shine: shin za ka kiyaye rashin tabbas, ka rage shi zuwa ma'anar da ta fi dacewa, ko ka zaɓi ɗaya ka tsaya kansa?


Samfurin a cikin jajin nan ba daidai ba ne. Suna bugi gida daban-dabanta, tsarin horo, da mahallin aiki. Baseline na Round 1 ya haɗa da samfuran da aka samu a gida. Rukunin da aka faɗaɗa na Zagaye na 2 yana ƙara wasu daga cikin sabbin bambance-bambancen samfuri na ƙwararrun matakin da ke akwai yanzu ga masu biyan kuɗi a kan MachineTranslation.com, wannan matakin samfurin da in ba haka ba zai nufi asusun biya daban tare da kowane mai bayarwa.

Rukunin da aka faɗaɗa a Zagaye na 2 ya ƙunshi samfura masu ci gaba waɗanda ke akwai ga masu biyan kuɗi a kan MachineTranslation.com. Sakamakon faɗaɗa tarin ba shi da daidai. A wasu gwaje (tsari/Japon), ya canza jama'a cikin mahimmanci. A wasu (jita/Vietnamese), wariya ta zama mai zurfi.

Bayanan gwajin sun nuna nau'i-nau'i biyu na gazawar da suka bambanta, kuma suna buƙatar amsa daban-daban.
Nau'i A: Katsela marasa sauti. Kurakuran tsari, kurakuran matsayi, daidaita kalmomin likita: waɗannan suna samar da abubuwan da suke kama da gida. Japhani yana da tsarin harshe. Dan Vietnam yana magana da kyau. Babu alamar jiya cewa wani abu ya yi kuskure. Mai karatu mai harshe guda da ke karantawa abin da wani samfuri ya fito ba shi da hanya don sanin cewa samfurin ya yi zaɓi na register da babbar jami'in Japan zai lura, ko kuma kalmar likita ta ɓace ta hanya da ta canza jama'ar da ta shafi.
Category B: Gazawar da ake gani. MiniMax yana fassara "burning the midnight oil" a matsayin "burning torches." GPT-4.1-NANO yana warware "That's sick" zuwa "すごい" mara shakewa. Waɗannan ana iya gano su, ko ta mai magana na harshen da ake niyya ko ta hanyar kwatantawa da sauran abubuwan da sauran samfuran suka fito.
Kwatantawon samfura da yawa da SMART ke bayarwa ya fi dacewa a Nau'in A. Lokacin da samfura biyar ko goma suka fito da yawa suna yarda da tsarin resepsiyoyi a lokacin da daya ya fito da sauki tsarin Jafananci, rashin yarda shine a gida a gida na kwatantawa. Mai amfani wanda ya san harshen da ake bukata zai iya kimanta zaɓuɓɓukan. Mai amfani da ba zai iya ganin ba cewa an yi yanke jiya da jiya, kuma ya iya yanke shawara ko jumlar ta bugi bugi ta bukaci bincike na ɗan adam.
Don aiki na girman takarda, manyan fayiloli, fassarar da ke adana tsarin PDFs, kwangila, ko kayan likita, ikon sarrafa takarda na dandalin ya damre tsarin fayilo ba tare da karya tsarin ba. Amma tambayoyin inganci da aka tara a sama suna aiki ko da yaushe girman fayil. Karatun karatu mai shafi 100 inda kowane lokacin da "hepatic impairment" aka fassara a matsayin "liver failure" shi ne babbar sigar matsala da aka gano a Baji 2.
Ga fasahar likita da shari'a musamman, tabbatar da mutane shine daidai na baje. Tomedes' AI Post-Editing service, wanda ya haɗa AI output tare da binciken mutane da aka sertifika don wannan nau'in abun ciki mai tsanani, an gina shi don haka. Rabon suy gan / suy giảm chức năng gan shine jiya irin nemo da ya kamata ya haifar da wannan bincike, ba saboda duk samfuran ba daidai ba, amma saboda samfuran da suke da mafi girma tabbatarwa ba su da mafi kyau daidaito.
Daraja na ganin abubuwa da yawa ba shi ne cewa koyaushe za ka zaɓi yawancin. Shi ne cewa za ka sani cewa an yi zaɓi, wanda ya bambanta da yin zato cewa abin da ke gaba da gida shi ne daidai.

Sai ka ajiye jarrabawa takwas juna kuma tsarin ya tsaya: yarjejeniya da rashin yarjejeniya ba a rarraba su ba. Yaren haɗi-haɗi na kasua ("taɓa jiya," "konewa dare") ya haɗu a kusan kowane tsarin a cikin tarin, a jerin biyu. Tsari, daidaicin shariya, da kalmomin likita ba su yi ba. Jarraba-CEO na tsari ya juyawa daga saba'a zuwa tsari kawai da zarar an haɗa tarin da ya faɗi. Kalmar-kula ta bayyanar daidaito ya nuna ainihin bambance-bambancen shari'a (免責 vs. 補償) wanda jiya ɗaya kawai, a jiya ɗaya, ya sami daidai. Kalmar kan likita bai taɓa warware ba gaɗa, ya kasance a kusan 6-zuwa-4 a gida biyu duka ba tabbas da wane ƙirar da suke cikin tarin.
Wannan shine ainihin gano, ba da'a kasua ba: ijma'i bai sa kowane jiya ya fi kyau ba, kuma bai buƙata ba. Yana da mafi girma daraja a daidai inda samfurin gida ɗaya ya ba ka wata dalili na shakka, kuma inda kuɗi na gaske yana bugi abin da ya kamata.
Akwai wata, mafi aiki mai amfani da wannan gwajin da ya kamata a bayyana a sarari. Yin wannan kwatantawa da kanka nawa ya nuni daidaita abubuwan da suka fito daga GPT-5.5, Claude Opus 4-7, Gemini 3.5-Flash, GLM-5-Turbo, da MiniMax M2.7 a gida da juna tare da tsoffin tsarin da aka samu, a wuri daya, akan jirgin daya. A hakin MachineTranslation.com, ba shi da jiya guda daya. Yana da yawa, ɗaya ga kowane mai samarwa wanda kake son gwada matakin farashi nasu, a abin da kowane mai samarwa ya tsara shi. Masu biya kuɗi a nan suna samun wannan kwatantawa gida a taɓawa daya, a kashi kaɗan na abin da kula da subscriptions gida biyar masu tsada zai kawo, ba tare da watsi da abin da ya haɗa da gaske ba: ganin inda models suka yarda, da sanin daidai lokacin da ba su yarda ba.
Ba wanda ya fi jiya a gajeriya; ya dogara ne akan nau'in gwaji. Claude Sonnet da Claude Opus a zaɓa kullum kalmar likita ta Vietnam mafi daidai, kuma Claude Opus ya samar da mafi kyau slang don "That's sick." Amma Claude Sonnet ya samar da sauƙaƙƙen Japaninchi a cikin jumla ta CEO-context ta tsari, inda GPT-5.5 ya sami shi daidai. Kwatantawa da fitattun abubuwa kai tsaye ya fi karfi fiye da zabar wata kira kuma amince da ita.
Babu daya; daidaito ya dogara ga yankin aiki. Gemini 3.5-Flash da GLM-5-Turbo sun samar da mafi kyau na harshen Jafananci a cikin wannan gwaji. Duka Claude models sun kasance mafi daidai akan kalmomin likitanci na Vietnamese. DeepSeek V4-Pro shine kaɗai ne model da ya yi amfani da ingantaccen kalmar shari'a ta Jafananci, amma kawai a Round 2, kuma ya samar da Jafananci marasa tsari a waje. Babu wata samfur gida da ta fi sauran jiya a cikin gwaje-gwaje gida takwas.
A'a, ba ta kai kaikaice ba. Fadada tarin samfurin sabon nau'i na tsada mafi girma ya canza juna'a daga sauƙi zuwa tsari a cikin gwajin tsari na Hausa. Amma a cikin jarrabawa na ilimin likita na Vietnamese, rabin hanyar ya ci gaba da kasua a kusan 6-zuwa-4 duk da wane ƙirar da aka haɗa. Ƙarin samfuran suna bayyana ƙarin rashin juna, wanda ke da amfani kamar sigina, amma ijma'in har yanzu yana bin yawancin, kuma yawancin ba koli ne mafi daidai na amsa.
SMART shine tsarin consensus multi-model na MachineTranslation.com, wanda ke yaɗa zuwa AI models 22 a cikin masu ba da aiki da suka hada da OpenAI, Anthropic, Google, da DeepSeek. Yana gudanar da fassara ta hanyar nau'ikan samfura da yawa a lokaci gida kuma yana ba da sakamako da daidaita-ijma'a tare da amsa na kowane nau'i na samfura, ta tiyata, ba tare da bukatarwa ta saiti ba. Jama'a ta canza lokacin da model pool ta canza, kamar yadda aka nuna a sakamakon gwajin Japananci na tsari: jama'a ta saukar da tsari a Zagaye 1 ta zama tsari a Zagaye 2.
Babu model gida; bita na ɗan adam ce mafi kyau. Claude na jiya jiya sai suka zaɓi ma'anar likitanci ta Vietnam da ta dace, kuma DeepSeek V4-Pro shi kaɗai ne ya yi amfani da ingantaccen kalmar shari'a ta Japan, amma a cikin Round 2 ne kawai. Kalmomin likita ba su tayi daidai a cikin samfuran 10 ba, wanda ke nuna cewa ana buƙatar gwanin yanki, ba cewa ya kamata a zaɓi sabon samfuri ba. Bita da aka tabbatar ta gyare-gyaren ɗan adam, kamar yadda Tomedes ke bayarwa, tana ba da wannan bincike na ƙwararru.