July 10, 2026
በ2026 ዓመት ውስጥ በጣም ትክክለኛ የሆነ AI ተርጓሚ የትኛው ነው? እኔ 10 ቱን ከቅርብ ጊዜ ያለፉ AI ሞዴሎች ሞከርኩ
ሁለት ቃላት። ስድስት ሞዴሎች። ሶስት የተለያዩ የትርጉም ውሳኔዎች። ስምንት ሙከራ ዓረፍተ ነገር በ MachineTranslation.com ላይ በሚገኙ የቅርብ ጊዜ AI ሞዴሎች በኩል ሲያሂድ ምን ሆነ እና ውጤቶቹ በትክክል ሞዴል በሥቅተት ሲወድቅ ምን ያሳያሉ።
ሞዴልዎ ስህተተ ውሳኔ ሲወስድ እንዴት ታውቃለህ?
ሁለት ቃላት። ያ በጣም አስደናቂ ነው። ስድስት ሞዴሎች። ሶስት የተለያዩ የትርጉም ውሳኔዎች።
በጃፓንኛ፣ አንድ ሞዴል እንደ それはやばいተገልጸው፣ አሻሚነቱን አስቀምጧል። ሌላው የርእሰ ስም 代名詞ን ሙሉ በሙሉ ትቶ ራዋ ቅፅ やばいን ጻፈ፣ በጣም መደበኛ ያልሆነ ስሪት። ሦስተኛው ጸሐፊ それはすごい ሙሉ በሙሉ "አስደናቂ" ለሚለው ትርጉም ግልጽነትን አመጣ፣ ይህም ሐረግን አስደሳች ያደረገውን ሁለገብ ትርጉም ሙሉ በሙሉ ያስወገደ። በቬትናምኛ፣ አንድ ሞዴል ዲህ ቫይ (ስላንግ፣ ለወጣቶች መዝገብ ትክክል)ጻፈ። ሌላ ሰው ጻፈ ይህ በእውነት አስደናቂ ነው፣ ሰዋስወ ደንብ ሰላም ነው፣ ነገር ግን ማንም ሰው ሚም ሲላክልህ "ይህ በእውነት አስደናቂ ነው" ለማለት ቅርብ ነው።
እነዚህ ሁሉ ተከላካይ ናቸው። አንዳቸውም ተመሳሳይ ነገር አይደሉም። እና ከአንድ ሞዴል በኩል ትርጉሞችን ካሄዱ፣ በእርስዎ ስም የተደረገው ምርጫ በጭራሽ አታይም።
ይህ ጽሑፉ መልስ ለመስጠት የሚሞክረው ማዕከላዊ ጥያቄ ነው። ከ2026 ዓ.ም. ለትርጉም በጣም ተስማሚ የሆነው የAI ሞዴል የትኛው ነው ብሎ ማሰብ አይደለም (መልሱ በቋንቋ ጥንድ፣ በመዝገብ ዓይነት፣ በጎራ እና በአረፍተ ነገር መዋቅር ላይ ይወሰናል)፣ ይልቁንስ: ሞዴልዎ ስህተት ሲሰራ እንዴት ያውቃሉ? በተለይ በሕክምና ቃላት፣ በህግ ውል ወይም በሙያዊ መደበኛነት ያሉ ጎራዎች ውስጥ፣ ስህተት የሆነው ጥሪት ልዩ ባለሙያ እስኪያነብበው ድረስ ትክክለኛ ትርጉም ይመስላል
ይህ ነው ያደረግሁት። ስምንት ሙከራ ዓረፍተ ነገሮችን MachineTranslation.com ላይ በሁለት ዙር ሞዴሎች ውስጥ አሳልፌ ነበር፡ በመጀመሪያ አምስት በስፋት ጥቅም ላይ የሚውሉ ሞዴሎችን መነሻ ነጥብ፣ ከዚያም ለክፍያ ተጠቃሚዎች አሁን ያለውን በርካታ አዲስ ከፍተኛ ደረጃ ሞዴል ተለዋጭዎችን የሚጨምር የተስፋፋ ስብስብ። በተለምዶ፣ እንደዚህ ያሉ ሞዴሎች ውጤቶችን ማወዳደር ከእያንዳንዱ ሐ ሚያ ጋር ለየ ለየ ክፍያ ያለው ምዝገባ ማለት ነበር። በ MachineTranslation.com ላይ፣ በአንድ ዓይነት ንጽጽር እይታ ውስጥ ይቀመጣሉ። ቋንቋ ጥንድ ነገሮች ইংሊዝኛ→ጃፓንኛ እና ইንግሊዝኛ→ቬትናምኛ ነበሩ። የประโยค ምድቦች በተለይ ሞዴል ስምምነት በጣም ወሳኝ የሆነባቸው ቦታዎችን ለመሞከር ተመርጠዋል፡ ተረጋጋ ያልሆነ ሐረግ፣ ህጋዊ ቃላት፣ የሕክምና ቃላት፣ መደበኛነትን ስሙ ያለበት አውድ፣ እና намеренное ትርጉም 애매ነት።
ዘዴ
- ቋንቋ ጥንድ: English → Japanese, English → Vietnamese
- ዙር 1 (መነሻ): Claude Sonnet 4-6, DeepSeek V4-Pro, Qwen 3.7-Max, GPT-4.1-NANO, Gemini 3.1-Pro-Preview
- ዙር 2 (የተስፋፋ): ከላይ ያሉት ሁሉም + Claude Opus 4-7, GPT-5.5, Gemini 3.5-Flash, GLM-5-Turbo, MiniMax M2.7
- የሙከራ ምድቦች: ተረጋጋ ያልሆነ ሐረግ (2), ህጋዊ/ሙያዊ ቃላት (2), የሕክምና ቃላት (1), መደበኛነትን ስሙ ያለበት አውድ (2), намеренное ትርጉም 애매ነት (1)
- ምን ይለካ ነበር: የትርጉም ውጤት በቀጥታ፣ አርትዖት ጊዜ ሳይሆን፣ TER፣ ወይም ቁጥራዊ ስህተት መጠን። ተገቢ በሆነ ところ፣ ልዩነቶች በቋንቋ ሁኔታ ይብራራሉ።
- ስማርት ስምምነት: እያንዳንዱ ዙር የመድረክ ብዙ-ሞዴል ስምምነት ውጤት ያካትታል። SMART በርካታ የ AI ሞዴሎችን በ22 ድረስ በተለያዩ ሐብሪዎች ላይ ይዘልቃል እና ሌላ ትርጉም ለማግኘት ሁሉንም ሞዴሎች በአንድ ጊዜ ያስኪዳል። ስምምነቱ ሲቀየር ሞዴል ገንዘብ ሲቀየር ይቀየራል።
በግምገማ ዘዴ ላይ ማስታወሻ: የማሽን ትርጉም ምርምር ለረጅም ጊዜ ውጤቶችን በራስ ሰር ለመመዘን እንዴት እንደሚቻል ታግሯል። ሜትሪክስ ልክ BLEU እና COMET በ WMT የተጋራ ተግባራት ውስጥ እንደተለካ ጠቃሚ ድምር ምልክት ይሰጣሉ፣ ነገር ግን እነሱ መመዝገቢያ ስህተቶችን፣ ሐረግ ውድቀቶችን እና ቃላት ትክክለኛነትን ለመለየት ደካማ ናቸው፣ በትክክል እዚህ ላይ በጣም ጠቃሚ የሆኑ ምድቦች። ስለ ማንበብ ያለዎት ነገር የውጤት ትንተና ነው፣ BLEU ውድድር አይደለም።
በአጭር ጊዜ ውጤቶች
ክፍል 1: ሁሉም ሞዴሎች የሚስማሙበት ቦታ፣ እና ለምን ያ ጠቃሚ ነውም
ሁሉም ዓረፍተ ነገር ትርጉም ያለው ስdisagreement አይወስድም። ከስምንቱ ፈተናዎች ሁለቱ፣ "ይህ ስምምነት ሲረጋጋ አንዴት እንዋስደው" (→ ጃፓንኛ) እና "ይህን ሰነፍ ቀን ለመመቅ ሌሊት ሙሉ እየሰሩ ነን" (→ ቬትናምኛ)፣ በሁለቱም ዙር ላይ ከፍተኛ ስምምነት አስገኝተዋል። ሐረግ ቃላቶች እንደ ሐረግ ቃላቶች በትክክል ተረድተዋል። ማንም ሰው "touch base" ን ከአካላዊ መሰረት ጋር መገናኘትን ሆነ ብሎ አልተረጎመውም። ማንም "the dust settles" ን እንደ ንጣፍ ወደ ታች መውደቅ አልተረጎመውም።
ይህ ላይ ማቆም ተገቢ ነው፡ የእንግሊዝኛ ሥራ ቋንቋ ሐረግ በአሁኑ ወሰን ላይ ያሉ ሞዴሎች በተገቢ ሁኔታ ይስተናገዳሉ ሐረግ በቂ ሆኖ ሲገኝ። ለ"touch base" የነበረው መግባባት በሁለቱም ዙሮች የተረጋጋ ሆኖ ቆይቷል፤ ልዩነቱ ሙሉ በሙሉ የቅጥ ጉዳይ ብቻ ነበር፣ ለምንጭ ሐረጉ この件 (ይህ ጉዳይ)፣ この取引 (ይህ ስምምነት)፣ ወይም この案件 (ይህ ጉዳይ) መጠቀም ወይም አለመጠቀም ዙሪያ።
ፈተና 8፦ "እንግዲህ በዚህ ስምምነት ላይ አቧራው ከረጋ በኋላ እንገናኝ።" → ጃፓንኛ
"እኩለ ሌሊት ዘይት ማቃጠል" ፈተና ነገሮች የበለጠ አስደሳች የሆኑበት ቦታ ነው። ሁሉም ሞዴል ከአንድ በስተቀር ቢተረጎምን በትክክል ተረዱት። ሚኒማክስ M2.7፣ በሁለተኛ ዙር ውስጥ ተዋወቀ፣ "burning" ን በሚዛናዊ ሁኔታ ተርጉሞ፣ đốt đuốc ን ፈጥሮ፣ ትርጉሙ "burning torches" ነው። ስብስብ አስተያየት በትክክል አግልብቶታል።
ሙከራ 5: "እኛ ይህን ጅማት ቀን ለመምታት የሌሊት ዘይት እየቃጠልን ነው።" → ቬትናምኛ
ግኝት — የቋንቋ አገላለጾች
ቀዳሚ ሞዴሎች በአጠቃላይ የተለመዱ የእንግሊዝኛ የንግድ አገላለጾችን በጃፓንኛ እና በቬትናምኛ በትክክል ይይዛሉ። የስምምነት ዋጋ በጣም ከፍተኛ ነው ተወዳዳሪ ዓረፍተ ነገሮች ላይ: መደበኛነት፣ መመዝገቢያ፣ እና ቃላት። በአ熟語 ፈተናዎች ላይ ስምምነት አሁንም በትክክለኛ ውጫዊ ሁኔታዎችን በመጠቆም ሚና ይጫወታል (MiniMax ያለ ትርጉም "ምድር ጃንጋ" ይወድቃል)፣ ነገር ግን አጠቃላይ ገንዘብ ቀድሞ ይስማማል።ክፍል 2: ፍቅረ-ሥነ-ስርዓት ክፍተት
ጃፓንኛ ፍቅረ-ሥነ-ስርዓት-ተደራሪ ቋንቋ ነው። የ ግብ ወደ መጨረሻ፣ ተወካይ እና ማጣቀሻ ስም ቅርፅ ምርጫ ሥልታዊ አይደለም። ይህ በተናጋሪው እና በተቀባዩ መካከል ያለውን ግንኙነት ያሳያል። ለCEO ሙላላ መልእክት ከመላክ በአሰላላፊ ግስ ቅርጾች ሳይሆን ትርጉም ስህተት አይደለም። ይህ ማህበራዊ ስህተት ነው፣ እና ከፍተኛ ሆኖ ነው።
ያንን ወደ እኔ ልክ ይችላሉ? ありがとう、感謝します。 አውድ: ወደ ዋና ስራ አስፈጻሚ መልእክት መላክ።
ሞዴሉ ገንዘብ ሲስፋ ስምምነት ተቀየረ። ዘዴው ቀላል ነው፡ መደበኛነትን ሁኔታ በትክክል የሚያነቡ ሞዴሎችን መጨመር ብዙሃንን ቀየረ፣ እና ስምምነት ተከተለ። ይህ ሙሉ ስፔክትረም ሞዴሎቹ በሁለተኛው ዙር ውስጥ ያመረቱት:
ሙከራ 1: CEO ዓረፍተ ነገር — ሙሉ Round 2 ሞዴል ውጤቶች
ታላቅ ልዩነት — DeepSeek R2
DeepSeek V4-Pro በ Round 2 ውስጥ ተመረተ 送ってくれる？ありがとう、助かる。, ቀላል ፎርም ጃፓንኛ። ይህ ቅርብ ጓደኛህን የምልከው ነው። ይህ ለCEO መልእክት ተገቢ ሪጅስተር አይደለም። ተራ ቅፅ (くれる፣ 助かる) ሁሉንም ክብር ምልክቶችን ያስወግዳል። ስምምነቱ በትክክል አግልለውታል፣ ነገር ግን ይህ ብቸኛ ሞዴልህ ቢሆን ኖ፣ ለCEOህ በአጣዳፊ ጽሑፍ ተመሳሳይ መልእክት ትልካለህ።የቬትናም ምዝገባ ፈተና የተለየ ዓይነት መደበኛነት ስህተት ገለጸ፣ ይህም የበለጠ ስውር ነው። የምንጭ ዓረፍተ ነገር፦ "ሄይ፣ ፈጣን ጥያቄ — ስልክ ላይ ለመሄድ ነፃ ነዎት?" አውድ፦ ለደንበኛ መልእክት መላክ። በመጀመሪያው ዙር ውስጥ Qwen "mình" ን ያካተተ ሲሆን ይህ ደግሞ ከሚመለከተው ሰው ጋር ያልታወቀ ግንኙነትን የሚያመለክት የመጀመሪያ ሰው 代名词 ነው። ሌላው ሞዴል ሁሉ ሙሉ በሙሉ የመጀመሪያ ሰው ራስን ማመልከት ተቆጥበ፣ ይህም ይበልጥ ደህንነቱ የተጠበቀ ሙያዊ ምርጫ ነው። በወሳኝ ሁኔታ፣ Qwen ይህንን በሁለተኛ ዙር ውስጥ አስተካክለ "mình" ጣለ። ስምምነቱ በሁለቱም ዙር ውስጥ ተገልብጧል።
ሙከራ 6: "ሄይ፣ አጭር ጥያቄ — ጥሪ ለመቀበል ነጻ ነህ?" → Vietnamese
ግኝት — የመዝገብ ስህተቶች ያለ ማነጻጸር አይታዩም
የQwen "mình" ስህተት ነጠላ ሞዴል ትርጉም ለደንበኛ ግንኙነት ለምን አደገኛ እንደሆነ በግልጽ የሚያሳይ ምሳሌ ነው፦ ውጤቱ ፈሳሽ፣ በሰዋሰው ትክክለኛ እና ተፈጥሯዊ ድምጽ ያለው ቬትናምኛ ነው። ምንም ምልክት ለማድረግ የሚያስፈልግ ነገር የለም። ሌሎቹን አራት ሞዴሎች ሳያይ የመጀመሪያ ሰው ራስን ማመልከት ከተቆጠበ፣ የመመዝገቢያ ምርጫ እንደተደረገ ምንም ምልክት አልነበርም።ክፍል 3: ህጋዊ ቃላት — የተጠየቂነት ችግር
ነጋዴ/ደንበኛ ካስመልሰት ሐሳብ በንግድ ስምምነቶች ውስጥ መደበኛ 條款 ነው: "ሻጩ ከሦስተኛ ወገን ጥቅሞች ይህንን ስምምነት በመጣስ ምክንያት ሚናቸውን ለማስወገድ ሚና ይጫወታል።"
በዙር 1፣ ሁሉም አምስቱ ሞዴሎች የሕግ መዝገብን በትክክል ለይተው ብድር ቃላትን ተጠቅመዋል ベンダー (አቅራቢ) እና クライアント (ደንበኛ)፣ እነዚህም ከእንግሊዝኛ የመጡ በጃፓን የንግድ ውሎች ውስጥ መደበኛ ናቸው። ከአንድ ልዩነት ጋር: GPT-4.1-NANO የ販売者 (ሻጩ) እና 顧客 (ደንበኛ) ጥቅም ላይ አውርዷል፣ ይህም ከተወሰደ ቃላት ተመጣጣኝ ሙሉ ሕግ ልዩ ባህሪ ነው።
ይበልጥ አስፈላጊ ግኝት በ Round 2 ወጣ። ዋና ልዩነቱ በሁለት ቃላት መካከል ነው:
- 補償 (hoshō) — ካስወጣ, ተመላሊሽ ገንዘብ ይስጥ። ማንም ሰው በኪሳራ በኋላ ገንዘብ ሙሉ ለሙሉ እንዲሆን ማድረግ።
- ተጠያቂነትን ለማገድ; ካሳ ለመክፈል። ሶስተኛ ወገን ይግባኝ ከመታየታቸው በፊት ከተጠያቂነት ነፃ ለማድረግ።
እነዚህ ህጋዊ ሁኔታ የተለያዩ ፅንሰ-ሀሳቦች ናቸው። "Indemnify" በተለይ ሦስተኛ ወገን ሃላፊነት ከ አንድ ወገን ለመጠበቅ ማለት ነው። 免責 ትክክለኛው ህጋዊ ቃል ነው። ሁሉም ራውንድ 1 ሞዴሎች 補償 ተጠቅመዋል። በ ራውንድ 2 ውስጥ፣ DeepSeek V4-Pro ብቻ ነው 免責 ለማምረት የቻለው፣ እና ይህንን በ ራውንድ 2 ውስጥ ብቻ ነበር፣ ራውንድ 1 ውስጥ አይደለም።
Test 7: የካሳ ሁኔታ → ጃፓንኛ (ዋና ውጤቶች)
ግኝት — ሕጋዊ መዝገብ
DeepSeek በ R2 ውስጥ 免責 ን ለመጠቀም ብቸኛው ሞዴል ነው፣ ይህም "ካሳ" ሕጋዊ ትክክለኛ ተመጣጣኝ ነው። ሌሎች ሁሉም ሞዴሎች 補償 (ካሳ ይስጡ) ን ይጠቀማሉ፣ ይህም በትርጉም ደረጃ ተዛማጅ ነው ነገር ግን በህግ ደረጃ የተለየ ነው። ይህ ግኝት በሁለተኛው ዙር ውስጥ ብቻ ይታያል፣ ይህም ለምን ቋሚ፣ ነጠላ-ዙር ሙከራ ቋሚ ሞዴል ገንዳ ስሌት ወሳኝ ልዩነት ሊያመልጥ ይችላል ለሚለው ጥያቄ ምላሽ ይሰጣል።ለየብቻ፣ Qwen በ R2 ውስጥ ወደ 売主/買主 (ሻጩ/ገዢ) በመቀየር ወደ ኋላ ይመለሳል፣ ይህም ከአገልግሎት ስምምነቶች ይልቅ ከንግድ ሽያጭ ህግ ውስጥ ቃላት ናቸው። ይህ ለእንግሊዝኛ ህጋዊ ቃላቶችን የሚጠቀም ውል ብዙም ተገቢ ያልሆነ ክፈት ነው።
በውል ውስጥ፣ 補償 እና 免責 ተመሳሳይ ቃላት አይደሉም። "አንድ" ማለት "ወደ ጀርባህ ገንዘብ እንመልሳለን" ማለት ነው። ሌላኛው ማለት "ከመጀመሪያው ጀምሮ ከክስ የተጠበቁ ነዎት" ማለት ነው። ትርጉም ስርዓት 補償 ትክክለኛው 免責 ቦታ ላይ ይጠቀም ከሆነ፣ የጃፓን ስሪትን የሚያነብ ጠበቃ በእንግሊዝኛ ስሪት ውስጥ ከተገለጸው ስምምነት ጋር ተመሳሳይ ስምምነት አይታይም።
ክፍል 4: የሕክምና ቃላት — የተከፈለው ክፍፍል ያልተፈታ
ይህ በመረጃ ስብስቡ ውስጥ በጣም ተጨባጭ ግኝት ነው። የሙከራ ዓረፍተ ነገር፦ "ይህ መድሃኒት በ ሥጋት ጉዳተኝነት ታሪክ ያላቸው በሕሙማን ላይ ተከልክሏል።" ምንጭ: ክሊኒካል ምርት ሰነድ። ዒላማ፦ ቬትናም።
ወሳኝ ቃሉ "ጉበት መበላሸት" ነው። ሁለት ቬትናማዊ ዕጩዎች አሉ:
- suy gan — ጉበት ውድቀት። ከባድ፣ አጣዳፊ ወይም ሙሉ ጊዜ የሚቆይ የሕጻናት ጊዜ ወይም ሕክምናዊ ድካም ያለበት ከባድ የጉበት ተግባር ብልሽት። ጉበት ውድቀት ያጋጠመው ታካሚ።
- suy giảm chức năng gan — የቀነሰ/የተዳከመ የጉበት ተግባር። ከ liver ተግባር ውስጥ ማንኛውም ቅነሳ ያመለክታል፣ ቀላል ወይም መካከለኛ ጉዳት ጨምሮ።
እነዚህ በክሊኒካል ሁኔታ ተለያይተው ይታያሉ። በ"ጉበት ጉድለት" ላይ የተመሰረተ ተቃራኒ ማስጠንቀቂያ ለጉበት ተግባር ለተቀነሰ ማንኛውም ሰው ይተገበራል፣ ሙሉ በሙሉ የአካል ክፍል ውድቀት ለተጋለጡ ብቻ ሳይሆን። ሱይ ጋን መጠቀም የተጠቆመውን ህዝብ በስህተት ያጠር ያደርገዋል። መካከለኛ የጉበት ጉዳት ያለበት ታካሚ suy gan ሲያነብ ራሱን እንደ ተከልካይ ህዝብ ላይሆን ይችላል።
ፈተና 2፦ ተቃራኒ ዓረፍተ ነገር → ቬትናምኛ (ሁለቱም ዙር)
ወሳኝ ግኝት: የሕክምና ቃላት
ክፍሉ 6 ሞዴሎች ለ suy gan vs. 4 ሞዴሎች ለ suy giảm chức năng gan በ Round 2 ውስጥ። ብዙሃን፣ እና ስለዚህ ስምምነቱ፣ ከክሊኒካዊ አንፃር ትክክል ያልሆነ ቃል ይመርጣሉ። ሁለቱም ክሎድ ሞዴሎች (ሶኔት እና ኦፑስ) በሁለቱም ዙር ውስጥ ጉበት ተግባር መቀነስ ያስተላልፋሉ። ክፍፍሉ ገንዳው ሲስፋፋ አይፈታም።ይህ በዚህ ዳታሴት ውስጥ ያለው ለሕክምናዊ ይዘት ሰው ባለሙያ ግምገማ ለመደረግ በጣም በቀጥታ የሚከራከር ብቸኛው ግኝት ነው። ስምምነቱ በብዛቶች ድምጽ ስህተት አይደለም። ይህ በድንበር ሞዴሎች መካከል ትክክለኛ ልዩነትን 反映 ያደርገዋል፣ እና ያ ልዩነት ራሱ አንድ ተርጓሚ መታየት ያለበት መረጃ ነው። ይህ በትክክል Tomedes' human-in-the-loop review ለተገነባው ሁኔታ ነው።
ክፍል 5: "ያ በሽታ ነው" — አሻሚነት ዓላማ በሚሆንበት ጊዜ ምን ይከሰታል
አንዳንድ ምንጭ ዓረፍተ ነገሮች በንድፍ አሻሚ ናቸው። "That's sick" በዘመናዊ English ስላንግ ምርጥ ነገር ማለት ነው፣ ነገር ግን አሁንም ቀጥተኛ ትርጉሙን (ማለትም በሽታ/አስጊህ) ይዞ ይገኛል፣ እና በእነዚህ ሁለት ትርጉሞች መካከል ያለው ውጥረት ይህ ሐረግ እንዴት ይገናኛል የሚለው አካል ነው። ለትርጉም ሞዴል ተግዳሮት: ምግባርነትን ይጠብቃሉ, ወደ በጣም ሊሆን ከሚችለው ትርጉም ይወድቁ, ወይም አንዱን ይምረጡ እና ይቁረጡ?
ጃፓንኛ ውጤቶች
ቪየትናምኛ ውጤቶች
ግኝት: ምግባርነት እና ተመሳሳይ-ቤተሰብ ልዩነት
Claude Opus 4-7 ይጽፋል ដូច្នេះ (ስላንግ)። ክላውድ ሶኔት 4-6 ይጽፋል Thật tuyệt vời (መደበኛ)። እነዚህ በአንድ ሞዴል ቤተሰብ ውስጥ ከሚገኙ ሁለት ሞዴሎች የተሰሩ ተቃራኒ ምዝገባ ውሳኔዎች ናቸው በተመሳሳይ ሁለት-ቃል ግብአት ላይ። ምንም አንዳቸውም "ስህተት" አይደሉም። ያ በ"That's sick" ውስጥ ያለው አሻሚነት ሁለቱም ትርጉሞች እንደሚኖሩ ማለት ነው። ነገር ግን ዒላማ ተመልካቾችህ የአሁኑን ቬትናማዊ ወጣት ስላንግ ከተጠቀሙ፣ ከእነዚህ ትርጉሞች አንዱ ብቻ በትክክል ይግባባል። ስምምነቱ ልዩነቱን ግልጽ ያደርገዋል። ያለዚህ፣ ምርጫ ተደርጎ እንደነበረ አታውቅም።በጃፓንኛ፣ GPT-4.1-NANO ለመጠቀም ብቸኛው ሞዴል ነው すごい፣ ይህም ሙሉውን አሻሚነት "አስደናቂ" በተወለደበት ሁኔታ ውስጥ ያስወግዳል። አምስት ሌሎች ሞዴሎች ይህን ይጠብቁታል やばい/ヤバい. ክሎድ ኦፐስ በጣም አነስተኛ ቅፅ ይወስዳል፡ ምንም ርእስ ሳይኖር ባዶ やばい ከ
ክፍል 6: ሞዴሉ ገንዳ ምን ይመስላል
በዚህ ሙከራ ውስጥ ያሉት ሞዴሎች ሁሉም እኩይ አይደሉም። ሰፊ የሆኑ የተለያዩ አርክቴክቸሮች፣ የስልጠና ሥርዓቶች እና የመጠቀሚያ ሁኔታዎችን ይሸፍናሉ። ዙር 1 መነሻው በሰፊው ተደራሽ የሆኑ ሞዴሎችን ያካትታል። የተስፋፋው ዙር 2 ገንዳ በMachineTranslation.com ላይ ለሚከፍሉ ተጠቃሚዎች አሁን ከሚገኙ ብዙ አዲስ ከፍተኛ-ደረጃ ሞዴል ልዩነቶችን ይጨምራል፣ ይህ ደግሞ ከእያንዳንዱ ግለሰብ ሐ provider ጋር ለየብቻ የተከፈለ 계정 ማለት ይሆናል።
በዙር 2 ውስጥ ያለው የተስፋፋው ገንዳ በMachineTranslation.com ላይ ለሚከፍሉ ተጠቃሚዎች ይበልጥ ላቅ ያሉ እና ሊገኙ የሚችሉ ሞዴሎችን ያካትታል። የገንዳውን ገደብ የማስፋት ውጤት ተመሳሳይ አይደለም። በአንዳንድ ፈተናዎች (መደበኛነት/ጃፓንኛ)፣ ስምምነቱን በትርጉም ለውጠዋል። በሌሎች (የሕክምና ቃላት/ቬትናምኛ)፣ መከፋፈሉ ጠልቋል።
ክፍል 7: ይህ ትርጉም ትርጓሜ መድረክ ከመረጡ ምን ማለት ነው
የሙከራ ውሂብ ሁለት ተለያዩ ብልሽት ምድቦችን ያመለክታል፣ እና እነሱ የተለያዩ ምላሾችን ይፈልጋሉ።
ምድብ ሀ: 조용한실패. መደበኛ ስህተቶች፣ መመዝገቢያ ስህተቶች፣ የሕክምና ቃላት ትክክለኛነት፦ እነዚህ ትክክል ይመስሉ የሚሉ ውጤቶችን ያመነጫሉ። ጃፓንኛው ሰዋሰዋዊ ነው። ቬትናምኛ ተናጋሪ በጣም ብልህ ነው። ምንም ችግር እንደደረሰ የሚያመለክት ምንም ላይ ላይ ምልክት የለም። ነጠላ ቋንቋ ተጠቃሚ አንድ ሞዴል ውፅዓት ሲያነብ ሞዴሉ ከፍተኛ ደረጃ ያለው ጃፓናዊ ስራ አስፈጻሚ ሊያስተውለው የሚችል ምዝገባ ምርጫ 했는지ወይም ክሊኒካል ቃል በሚተገበርበት ህዝብ ላይ ለውጥ ያመጣ መንገድ የተጠበቀ かどうかを ማወቅ ምንም መንገድ የለውም።
ምድብ ለ: ምንም ላይ ብርሃን ማቃጠል። ሚኒማክስ "midnight oil ማቃጠል" ን "ጫጫታ ማቃጠል" ተብሎ ትርጉም ሰጥቷል። GPT-4.1-NANO "ያ በሚገርም ሁኔታ" ን ወደ ግልጽ "すごい." መፍታት እነዚህ ሊታወቁ የሚችሉ ናቸው፣ በዒላማ ቋንቋ ተናጋሪ ወይም ሌላ ሞዴል ውጤቶች ጋር በማወዳደር።
ባለብዙ-ሞዴል ንፅፅር SMART የሚሰጠው በጣም ከፍተኛ ዋጋ በ Category A ውስጥ ነው። አምስት ወይም አስር ሞዴሎች ውጤቶችን ሲያመርቱ እና አብዛኛዎቹ መደበኛ መዝገበ-ቃላት ላይ ሲስማሙ አንድ ሞዴል ደግሞ ተራ ቀላል-ቅጽ ጃፓንኛ ሲያመርት፣ ስብጥሩ በንፅፅር እይታ ውስጥ ይታያል። ኢላማ ቋንቋውን የሚናገር ተጠቃሚ አማራጮችን መገምገም ይችላል። ተጠቃሚ ውሳኔ ሊያይ የማይችል ሰው ተወዳዳሪ ውሳኔ ተደርጓል ብሎ ማወቅ ይችላል፣ እና ያ ዓረፍተ ነገር የሰው ልጅ ግምገማ ይጠይቃል ወይም አይጠይቅም ብሎ መወሰን ይችላል።
ለሰነድ-ልኬት ስራ፣ ትላልቅ ፋይሎች፣ የ PDF ፍርግርግ-ማስቀመጫ ትርጉም፣ ውል ወይም ክሊኒካል ቁሳቁሶች፣ የመድረኩ ሰነድ ሂደት ችሎታ የፋይል መዋቅር ያስተናግዳል ምንም ቅርጸት ሳይሰብር። ነገር ግን ከላይ የተነሱት የጥራት ጥያቄዎች ምንም ይሁን ምን የፋይል መጠን ምንም ለውጥ አያመጡም። ከ100 ገጽ ክሊኒካዊ ጥናት ሁሉም "ሕክምናዊ ጉዳት" ተደጋገሞ "ጉበት አለመስተካከል" ተብሎ የተተረጎመ ከሆነ በሙከራ 2 ውስጥ የተለየው ችግር ትልቅ ስሪት ነው።
ለሕክምና እና ህጋዊ ምድቦች በተለይ የሰው ማረጋገጫ ትክክለኛው ድጋፍ ነው። የቶሜደስ AI ድህረ-አርትዖት አገልግሎት፣ AI ውፅዓትን ከተረጋገጠ የሰው ግምገማ ጋር ለዚህ ዓይነቱ ከፍተኛ ስጋት ያለበት ይዘት ለመገጣጠም የተሰራ ነው። ሱይ ጋን / ሱይ ጊያም ቅንብር ጋን መከፋፈል በትክክል ያ ግምገማ ሊያነሳሳ የሚገባው ዓይነት ግኝት ነው፣ ሁሉም ሞዴሎች ስህተት ስለሆኑ ሳይሆን፣ በጣም በራስ መ相信 ያሉት ሞዴሎች በጣም ትክክል ስላልሆኑ።
ብዙ ውጤቶችን ማየት ዋጋ ሁልጊዜ ብዙሃን ምርጫ ታመልካ ስላልሆነ ነው። ይህ ምርጫ ተደርጓል ብለው ታውቃላችሁ ማለት ነው፣ ይህም በፊትዎ ያለው ውጤት ትክክል ነው ብሎ መገመት ከሚለው የተለየ ነው።
ስምንቱ ዓረፍተ ነገሮች በእውነቱ ምንን ነግረውኛል
ስምንቱ ሙከራዎችን ጎን ለጎን ያስቀምጡ እና ንድፍ ይቆያል: ስምምነት እና አለመስማማት በዘፈቀደ አልተከፋፈሉም። ቅዱስ አገላለጾች እና ዕለታዊ ንግድ ቋንቋ ("ወደ ተሳታፊ ሆኖ መገናኘት"፣ "እሑድ ሌሊት ሰርቶ መቆየት") በሁለቱም ዙር ውስጥ በሞዴሎቹ ሁሉ ላይ ተሰባስበዋል። ፎርማሊቲ፣ ህጋዊ ትክክለኛነት እና የሕክምና ቃላት አልነበሩም። ዋና ሥራ አስፈጻሚው መደበኛነት ፈተና የስፋት ገንዘብ ከተካተተ በኋላ ብቻ ከመደበኛ ወደ መደበኛ ተለወጠ። የካሳ ሁኔታው ትክክለኛ ህጋዊ ልዩነት (ከሀላፊነት ነፃ ማድረግ vs. ካሳ) አንድ ሞዴል ብቻ በአንድ ዙር ትክክል ነበር። የሕክምና ቃላት መከፋፈል ምንም ጊዜ አልተፈታም፣ ሁለቱም ዙሮች ውስጥ ምንም ሞዴሎች በመዋቅር ውስጥ ቢኖሩም ወደ おおよそ 6-ወደ-4 ቆየ።
ይህ ትክክለኛ ግኝት ነው፣ የግብይት ይገባኝታ አይደለም፡ ስምምነት እያንዳንዱን ዓረፍተ ነገር ይሻል አያደርግም፣ እና ያስፈልግም አይደለም። ይህ በጣም ዋጋ ያለው በአንድ ሞዴል ሙሉ ብቃት ምንም ጥርጥር ለመስጠት ምንም ምክንያት በሌለበት ቦታ ነው፣ እና ስህተት ሊሆን የሚችልበት ቦታ በእውነቱ ወጪ ይወስዳል።
ይህ ፈተና ግልፅ ሊታወቅ ያለበት ሁለተኛ፣ ይበልጥ ተግባራዊ ንብርብር አለ። ይህን ንጽጽር በራሴ ማካሄድ ማለት ከ GPT-5.5፣ Claude Opus 4-7፣ Gemini 3.5-Flash፣ GLM-5-Turbo እና MiniMax M2.7 ውጤቶችን በተመሳሳይ ጊዜ ከነባር መነሻ ሞዴሎች ጋር በአንድ ቦታ፣ በአንድ መድረክ ላይ መፈተሽ ማለት ነው። ከMachineTranslation.com ውጭ፣ ያ አንድ ምዝገባ አይደለም። ብዙ ናቸው፣ ለእያንዳንዱ ሚዲያ ሰጪ ከፍተኛ ደረጃ ሙከራ ለማድረግ የሚፈልጉት ለ፣ እያንዳንዱ ሚዲያ ሰጪ በግለሰብ ምክንያት ያስከፍላል። ይህን ሳይት የሚጠቀሙ ተከፋይ ተጠቃሚዎች ያንን ምን ሙከራ በአንድ ጠቅታ ማግኘት ይችላሉ፣ አምስት ለየለት ፕሪሚየም ምዝገባዎችን ለመጠበቅ ከሚወጡት ወጪ በጣም ዝቅተኛ ዋጋ ላይ፣ ሳይሰጡ ነገር ግን ትክክለኛ ነገር፦ ሞዴሎቹ የት ይስማሙ እንደሆነ ማየት እና በትክክል መቼ እንደማይስማሙ ማወቅ።
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
1. ቻትጂፒቲ ወይም ክሎድ ለትርጉም ምርጥ ነው?
ምንም አንዳቸውም በአጠቃላይ ምርጥ አይደለም; ይህ በሙከራ ምድብ ላይ የተመሰረተ ነው። Claude Sonnet እና Claude Opus ብዙ ጊዜ ይበልጥ ትክክለኛ የቬትናም ሕክምና ቃል መረጡ፣ እና Claude Opus ለ "That's sick" በጣም ተገቢ የሆነ ስላንግ ፈጠረ። ነገር ግን Claude Sonnet በመደበኛ CEO-ሁኔታ ዓረፍተ ነገር ውስጥ መደበኛ ያልሆነ ጃፓንኛ ፈጠረ፣ GPT-5.5 ግን ትክክል አገኘ። ውጤቶችን በቀጥታ ማወዳደር አንድ ሞዴል መምረጥ እና በእሱ ላይ መተማመን ከመምረጥ የበለጠ ጠበቅ ነው።
2. በ2026 ዓ.ም. በጣም ትክክለኛው የ AI ትርጉም ሞዴል ምንድነው?
አንድ የለም; ትክክለኛነት ጎራ-ላይ የተመሰረተ ነው። Gemini 3.5-Flash እና GLM-5-Turbo በዚህ ፈተና ውስጥ በጣም ተገቢ የሆነ መደበኛ ጃፓንኛ ፈጠሩ። ሁለቱም ክሎድ ሞዴሎች በቬትናም ሕክምና ቃላት ላይ በጣም ትክክለኛ ነበሩ። ዲፕሲክ ቪ4-ፕሮ ትክክለኛው ጃፓንኛ ህጋዊ ቃል ለመጠቀም ብቻ ነበር፣ ነገር ግን በ2ኛ ዙር ውስጥ ብቻ፣ እና በሌላ ቦታ መደበኛ ያልሆነ ጃፓንኛ ፈጠረ። ምንም ነጠላ ሞዴል በሁሉም ስምንት ፈተናዎች ላይ አበላሸ አልነበረም።
3. ተጨማሪ AI ሞዴሎች ሁልጊዜ የትርጉም ትክክለትን ያሻሽላሉ?
አይደለም፣ በራስ-ሰር አይደለም። ከአዲስ ፕሪሚየም- tier ሞዴል ተለዋጭ ጋር ገንዳውን ማስፋፋት በጃፓንኛ መደበኛነት ፈተና ውስጥ ስምምነትን ከመደበኛ ወደ መደበኛ ቀየረ። ነገር ግን በቬትናም ሕክምና ቃላት ፈተና ውስጥ፣ ይህ መከፋፈል በየትኛው ሞዴል ውስጥ ቢካተት ምንም ይሁን ምን በግምት 6-ወደ-4 ተግባር ቀጠለ። ብዙ ሞዴሎች ብዙ ልዩነቶችን ያሳያሉ፣ ይህም ጠቃሚ ምልክት ነው፣ ነገር ግን ስምምነት አሁንም ብዙሃንን ይከተላል፣ እና ብዙሃን ሁልጊዜ በጣም ትክክለኛ መልስ አይደለም።
4. SMART ምንድን ነው እና እንዴት ይሰራል?
SMART የ MachineTranslation.com ብዙ-ሞዴል ስምምነት ስርዓት ነው፣ እስከ 22 ሰው ሰራሽ ብልጠት ሞዴሎችን ያካትታል ከ OpenAI፣ Anthropic፣ Google እና DeepSeek ጨምሮ። ብዙ ሞዴሎችን በአንድ ጊዜ በኩል ትርጉም ያስኬዳል እና በነባሪነት ምንም ውቅር ሳያስፈልግ ከእያንዳንዱ ሞዴል መልስ ጋር ብዙ ስምምነት ያለው ውጤት ያሳያል። ሞዴሉ ገንዳ ሲቀየር ስምምነቱ ይቀየራል፣ በዚህ ፈተና ያፌን መደበኛነት ውጤት ላይ እንደሚታየው፡ በ1ኛ ዙር ውስጥ ያልተለመደ ስምምነት በ2ኛ ዙር ውስጥ መደበኛ ሆነ።
5. ለሕክምና ወይም ለህግ ትርጉም ምን ያህል AI ሞዴል ምርጥ ነው?
ነጠላ ሞዴል የለም; የሰው ግምገማ የተሻለ መልስ ነው። ክሎድ ሞዴሎች በቅጡ ትክክለኛውን ቬትናማዊ የሕክምና ቃል ምረጡ፣ እና DeepSeek V4-Pro ብቻ ትክክለኛውን ጃፓንኛ ህጋዊ ቃል ተጠቀመ፣ ግን በ Round 2 ብቻ። የሕክምና ቃላት መከፋፈል በ10 ሞዴሎች ላይ ምንም ጊዜ አልተፈታም፣ ይህም የተለየ ሞዴል መምረጥ አለበት ሳይሆን የዘርፉ ብቁነት ያስፈልጋል ብሎ ያሳያል። A የተረጋገጠ የሰው ልጅ-ማረም ግምገማ፣ ልክ እንደ Tomedes የሚሰጠው፣ ያ ስፔሻላይዝድ ፍተሻ ይሰጣል።