July 10, 2026
De mo. Sis modèl. Twa desizyon tradiksyon diferan. Vwala sa ki rive lè m te fè 8 fraz tès pase nan dènye modèl AI ki disponib sou MachineTranslation.com, ak sa ekstrai yo aktyèlman revele sou lè yon modèl echwe an silans.
De mo. Sa malad. Sis modèl. Twa desizyon tradiksyon distenk.
An Japonè, yon modèl te fè li kòm それはやばい, prezève ambigwite a. Yon lòt moun te jete pwonon sijè a nèt epi te ekri fòm lan san anyen やばい, vèsyon ki pi kolokyal posib la. Yon twazyèm moun te ekri それはすごい, ki rezoud ambigwite a nèt nan favè "etonan," retire doub siyifikasyon an ki te fè fraz la enteresan nan premye plas la. An Vyetnam, yon modèl te ekri Đỉnh vậy (lang òdinatè, kòrèk pou rejis jèn). Yon lòt moun te ekri Thật tuyệt vời, grammatikalman kòrèk, men pi pre di "sa a vrèman mèveye" lè yon moun voye ou yon mèm.
Tout sa yo se defandab. Okenn nan yo pa menm bagay. Epi si ou ap fè tradiksyon atravè yon sèl modèl, ou p ap janm wè chwa ki te fè pou kont ou.
Sa a se kesyon santral atik sa a ap eseye reponn. Se pa ki modèl AI ki pi bon pou tradiksyon an 2026 (repons lan depann sou pè lang, rejis, domèn, ak estrikti fraz), men pito: kijan ou ta konnen lè modèl ou a fè move desizyon? Espesyalman nan domèn tankou tèminoloji medikal, kontra legal, oswa formalite pwofesyonèl, kote move desizyon an sanble egzakteman tankou yon tradiksyon kòrèk jouk yon espesyalis li l.
Vwala sa mwen te fè. Mwen te fè 8 fraz tès pase nan de wonn modèl sou MachineTranslation.com: premyèman yon liy debaz nan 5 modèl lajman itilize, epi apre sa yon pisin elaji ki ajoute plizyè nan varyant modèl premium-tier ki pi nouvo kounye a disponib pou itilizatè ki peye. Nòmalman, konpare rezilta ki soti nan modèl tankou sa a ta vle di abònman peye separe ak chak founisè endividyèlman. Sou MachineTranslation.com, yo chita nan menm vi konparasyon an. Pè lang yo te Anglè→Japonè ak Anglè→Vyetnamyen. Kategori fraz yo te chwazi espesyalman pou teste zòn kote dezakò modèl yo pi konsekans: fraz idyomatik, tèminoloji legal, tèminoloji medikal, kontèks ki sansib a formalite, ak ambigwite semantik delibere.
Yon nòt sou metodoloji evalyasyon: rechèch tradiksyon otomatik la lontan ap lite avèk fason pou fè nòt rezilta yo otomatikman. Metrik tankou BLEU ak COMET jan yo mezire nan travay pataje WMT bay siyal itil agregat, men yo pa bon pou detekte erè rejis, echèk idiom, ak presizyon tèminolojik, egzakteman kategori ki pi enpòtan isit la. Sa ou sou apre li se analiz rezilta, pa yon BLEU ras.

Pa chak fraz ki fè parèt yon dezakò ki gen siyifikasyon. Dè nan uit tès yo, "Ann tann yon ti tan pou pousyè a tonbe sou deal sa a" (→ Japonè) ak "Nou ap travay di nwit pou fè lansman sa a rive alè" (→ Vyetnamyen), yo te pwodwi gwo akò nan de tou yo. Idyom yo te byen konprann kòm idyom. Pesonn pa tradwi "touch base" kòm si se yon baz fizik yo te manyen. Pesonn pa tradwi "the dust settles" kòm sediman ki tonbe.
Sa a vo pou nou fè yon poz sou li: lang biznis idyomatik Anglè a se rezonablman byen jere pa modèl frontier aktyèl yo lè idiom nan ase komen. Konsansis pou "touch base" a te rete estab nan de round yo; varyasyon an te piman stilistik, alantou si yo dwe itilize "zafè sa a" (zafè sa a), "deal sa a" (deal sa a), oswa "ka sa a" (ka sa a) pou fraz sous la.

Tès "travay jiska minwi" a se kote bagay yo te vin pi enteresan. Chak modèl sof youn sèl te konprann idyòm nan kòrèkteman. MiniMax M2.7, entwodwi nan Wonn 2, tradwi "burning" literalman, pwodwi đốt đuốc, sa vle di "burning torches." Konsansis la te kòrèkteman ekskli li.

Japonè se yon lang ki gen diferan nivo fòmalite. Chwa vèb la, pwonon an, ak fòm non referansyèl la pa stylistic. Li siyale relasyon ki genyen ant moun ki pale a ak moun ki resevwa mesaj la. Voye yon mesaj bay CEO ou a lè w ap itilize fòm vèb enfòmèl se pa yon erè tradiksyon nan sans gramatikal la. Se yon erè sosyal, epi yon erè enpòtan.
Èske ou ka voye sa a? Mèsi, m apresye sa. Kontèks: Mesaje yon PDG.

Konsansis la chanje lè gwoup modèl la elaji. Mekanismo a se senp: ajoute modèl ki li kòrèkteman kontèks formalite a te chanje majorite a, epi konsansis la te swiv. Isit la se spektòm konplè de sa modèl yo te pwodui nan Wonn 2:

Tès rejis Vyetnamyen an te fè parèt yon lòt kalite erè formalite, youn ki pi sibtil. Fraz sous la: "Eyo, yon ti kesyon — ou lib pou ou fè yon apèl?" Kontèks: voye mesaj bay yon kliyan. Qwen nan Wonn 1 te enkli "mình," yon pwonon premye-pèsonn ki vle di zanmitay nivo kamarad ki pa fòmèl. Chak lòt modèl te evite referans tèt-premye konplètman, ki se chwa pwofesyonèl ki pi sèf la. Enpòtan, Qwen korije sa a nan Round 2 epi li abandone "mình." Konsansis nan de tou de round yo te ekskli li.

Fraz endimnifikasyon vandè/kliyè a se yon kloz estanda nan akò komèsyal: "Vandè a dwe pwoteje kliyan an kont nenpòt reklamasyon tèsyè ki soti nan vyolasyon akò sa a."
Nan Won 1, tout senk modèl yo te idantifye korèkteman rejis legal la epi yo te itilize mo prete ベンダー (vandè) ak クライアント (kliyan), ki estanda nan kontra komèsyal japonè ki gen orijin angle. Yon eksepsyon: GPT-4.1-NANO te itilize 販売者 (vendeur) ak 顧客 (kliyant), mo Japonè lejitim ki manke spesifisite legal fòmèl ekivalan mo emprante yo.
Dekouvèt ki pi enpòtan an te parèt nan Round 2. Distinksyon kle a se ant de mo:
Sa yo se konsèp ki diferan nan legal. "Indemnify" spesifikman vle di pwoteje yon pati kont responsabilite tèsyè. 免責 se tèm legal ki kòrèk la. Tout modèl Round 1 yo te itilize 補償. Nan Dezyèm Wonn, DeepSeek V4-Pro se te sèl modèl ki te pwodui 免責, epi li te fè sa nan Dezyèm Wonn sèlman, pa nan Premye Wonn.

Nan yon kontra, 補償 ak 免責 se pa sinonim. Youn vle di "Nou a remboursé ou." Lòt la vle di "ou pwoteje kont reklamasyon an premye plas." Si yon platfòm tradiksyon itilize 補償 kote 免責 se korèk, yon avoka ki li vèsyon Japonè a pa p ap wè menm akò ke vèsyon Anglè a dekri.
Sa a se dekouvèt ki gen pi gwo konsekans nan dataset la. Fraz tès la: "Medikaman sa a se kontraindike nan pasyan yo ki gen yon istwa nan domaj foie." Sòs: dokimantasyon pwodwi klinik. Sib la: Vyetnamyen.
Tèm kritik la se "deteriorasyon nan fonksyon foie a." Gen de kandida Vyetnamyen:
Sa yo se klinikal diferan. Yon avètisman kontraendikasyon ki baze sou "domaj nan fwa" aplike a nenpòt moun ki gen fonksyon fwa redwi, pa sèlman sa yo ki te viv echèk konplè nan ògan an. Sèvi ak suy gan fè popilasyon yo endike a vin pi etwat pa mal. Yon pasyan ki gen modere domaj foie ki li "suy gan" ka pa rekonèt tèt li kòm popilasyon ki entèdi a.

Gen kèk fraz sous ki ambig pa desen. "Sa malad" nan lang anglè kontanporen an vle di yon bagay ki eksilan, men li toujou gen sans literal li (se sa ki degoutant/abominab), ak tansyon ki genyen ant de sans sa yo se yon pati nan fason fraz la komunike. Defi a pou yon modèl tradiksyon se: èske ou konsève ambigwite a, redwi li a siyifikasyon ki pi pwobab, oswa chwazi youn epi angaje tèt ou?


Modèl yo nan tès sa a pa tout ekivalan. Yo kouvri diferan achitekti, rejim entrennman, ak kontèks deplwaman. Debaz Round 1 la gen ladan modèl ki lajman aksesib. Pil Round 2 la ki pwolong ajoute plizyè varyant modèl premium-tier ki pi nouvo yo ki disponib kounye a pou itilizatè ki peye sou MachineTranslation.com, menm nivo modèl sa a ki ta vle di yon kont peye separe avèk chak founisè endividyèl.

Pil la ki pwolong nan Round 2 gen ladan modèl ki pi avanse yo ak ki disponib pou itilizatè ki peye sou MachineTranslation.com. Efè agrandi pil la a pa inifòm. Nan kèk tès (formalite/Japonè), li te chanje konsansis la nan yon fason ki gen siyifikasyon. Nan lòt (tèminoloji medikal/Vyetnamyen), divijyon an te pwofonde.

Done tès yo montre de kategori echèk distenk, epi yo mande repons diferan.
Kategori A: Echèk silen. Erè formalite, erè rejis, presizyon tèminoloji medikal: sa yo pwodui rezilta ki sanble kòrèk. Japonè a grammatikal. Vyetnamyen an pale byen. Pa gen okenn siyen sou sifas ke yon bagay te mal. Yon itilizatè monoleng ki li rezilta yon sèl modèl pa gen okenn fason pou li konnen ke modèl la te fè yon chwa rejis ke yon direktè Japonè sènò ta ta remake, oswa ke yon tèm klinik te etwat nan yon fason ki chanje popilasyon li aplike a.
Kategori B: Echèk ki vizib. MiniMax tradwi "burning the midnight oil" kòm "brile flambò yo." GPT-4.1-NANO rezoud "That's sick" a "すごい" ki klè. Sa yo detektab, swa pa yon pale nan lang cib la oswa pa konparezon ak lòt rezilta modèl yo.
Konparezon milti-modèl SMART bay se pi valè nan Kategori A. Lè senk oswa dis modèl pwodui rezilta epi pifò yo dakò sou yon rejis fòmèl pandan y ap pwodui fòm plèn kazèl Japonè, dezakò a vizib nan vi konparezon an. Yon itilizatè ki pale lang tib la ka evaliye opsyon yo. Yon itilizatè ki pa ka wè ke yo te fè yon desizyon ki konteste, epi li ka deside si fraz sa a mande revizyon moun.
Pou travay ki gen echèl dokiman, gwo fichye, tradiksyon ki konsève layout PDF yo, kontra, oswa materyèl klinik, kapasite trete dokiman platfòm nan okipe estrikti fichye san yo pa kraze fòmatasyon. Men kesyon kalite yo leve pi wo a yo aplike kèlkeswa gwosè fichye a. Yon etid klinik 100-paj kote chak egzanp "hepatic impairment" tradwi kòm "liver failure" se yon vèsyon pi gwo nan menm pwoblèm yo idantifye nan Tès 2.
Pou kategori medikal ak legal yo espesyalman, verifike imen an se backstop ki kòrèk. Sèvis Post-Editing AI Tomedes', ki asosye pwodiksyon AI ak revizyon sètifye imen pou egzakteman kalite kontni ki gen gwo enjeu sa a, konstwi pou sa. Divèjans suy gan / suy giảm chức năng gan sa a se egzakteman kalite dekouvèt ki ta dwe deklanche revizyon sa a, pa paske tout modèl yo mal, men paske modèl yo ki pi konfyan yo pa presizyon yo pi bon.
Valè wè plizyè rezilta yo se pa ke ou pral toujou chwazi majorite a. Se sa ki fè w ap konnen yon chwa te fèt, ki diferan de asime rezilta ki devan ou a kòrèk.

Mete uit tès yo bò a bò epi yon modèl kenbe: akò ak dezakò yo pa distribiye owaza. Langaj biznis idyomatik, alèn jou a ("touch base," "burning the midnight oil") te konvèje atravè prèsk tout modèl yo nan gwoup la, nan de round yo. Formalite, presizyon legal, ak tèminoloji medikal yo pa t'. Tès formalite CEO-a te vire soti nan enfòmèl ale nan fòmèl sèlman yon fwa gwo pisin lan te enkli. Kloze endemnizasyon an te fè parèt yon vrè distansyon legal (免責 vs. 補償) ke sèlman yon modèl, nan yon wonn, te jwenn dwa. Tèminoloji medikal la pa janm rezoud ditou, li rete nan anviwon 6-a-4 atravè de tou de round yo kèlkeswa ki modèl yo te nan basèn nan.
Sa a se jwenti aktyèl la, pa yon reklamasyon maketing: konsansis pa fè chak fraz pi bon, epi li pa bezwen fè sa. Li pi valab egzakteman kote korans yon sèl modèl bay ou okenn rezon pou dout li, e kote fè erè aktyèlman koute yon bagay.
Gen yon dezyèm kouch pi pratik nan tès sa a ki vo di klèman. Fè konparezon sa a tèt mwen te vle di tcheke rezilta yo soti nan GPT-5.5, Claude Opus 4-7, Gemini 3.5-Flash, GLM-5-Turbo, ak MiniMax M2.7 bò a bò avèk modèl baseline yo deja egziste yo, nan yon sèl kote, sou yon sèl platfòm. Deyò MachineTranslation.com, sa a se pa yon abònman. Se plizyè, youn pou chak founisè ki gen nivo prèmyòm ou vle teste, nan nenpòt pri chak founisè chaje endividyèlman. Itilizatè ki peye isit la jwenn menm konparezon an nan yon klik, pou yon fraksyon de sa ke kenbe senk abònman premium separe ta koute, san yo pa abandone bagay ki vrèman enpòtan: wè kote modèl yo dakò, epi konnen egzakteman lè yo pa dakò.
Ni youn ni lòt pa pi bon nèt; sa depann sou kategori tès la. Claude Sonnet ak Claude Opus te konsistan chwazi tèm medikal Vyetnamyen ki pi egzak la, e Claude Opus te pwodui agò ki pi apwopriye pou "That's sick." Men Claude Sonnet te pwodui tou Japanese enfòmèl nan yon fraz kontèks CEO ofisyèl, kote GPT-5.5 te jwenn li dwa. Konpare rezilta dirèkteman se pi defandab pase chwazi yon modèl epi fè konfyans sou li.
Pa gen youn; presizyon depann sou domèn. Gemini 3.5-Flash ak GLM-5-Turbo te pwodwi Japonè fòmèl ki pi apwopriye nan tès sa a. Tou de modèl Claude yo te pi presiz sou tèminoloji medikal Vyetnamyen. DeepSeek V4-Pro se te sèl modèl ki te itilize tèm legal Japonè ki kòrèk, men sèlman nan Wonn 2, e li te pwodwi Japonè enfòmèl nan lòt kote. Okenn modèl sèl pa te dominen nan tout uit tès yo.
Non, pa otomatikman. Elaji pil la avèk varyant modèl premium-tier ki pi nouvo yo te chanje konsansis la soti nan enfòmèl a fòmèl nan tès fòmalite Japonè a. Men nan tès tèminoloji medikal Vyetnamyen an, divizyon an te kontinye nan apeprè 6-a-4 kèlkeswa ki modèl yo te enkli. Plis modèl fè plis dezakò parèt, ki se yon siyal itil, men konsansis la toujou swiv majorite a, e majorite a pa toujou pi egzak repons lan.
SMART se sistèm consensus multi-modèl MachineTranslation.com, ki kouvri jiska 22 modèl AI atravè founisè ki gen ladan OpenAI, Anthropic, Google, ak DeepSeek. Li fè yon tradiksyon atravè plizyè modèl an menm tan e li montre rezilta konsansis majorite a ansanm ak repons chak modèl endividyèl, pa defò, san yo pa bezwen okenn konfigirasyon. Konsansis la chanje lè gwoup modèl la chanje, jan yo montre nan rezilta formalite Japonè tès sa a: yon konsansis enfòmèl nan Wonn 1 te vin fòmèl nan Wonn 2.
Pa gen yon sèl modèl; revizyon imen an se pi bon repons lan. Modèl Claude yo konsistan chwazi tèm medikal Vyetnamyen ki pi presi a, epi DeepSeek V4-Pro sèl itilize tèm legal Japonè ki kòrèk la, men sèlman nan Wonn 2. Tèminoloji medikal la pa janm rezoud atravè 10 modèl yo, ki siyale ke yo bezwen ekspètiz domèn, se pa yon modèl diferan ki ta dwe chwazi. Yon revizyon edisyon apre tradiksyon sètifye pa yon moun, tankou Tomedes ofri, bay tchèk espesyalis sa a.