იგივე ხელოვნური ინტელექტი, განსხვავებული მოდელი — და თარგმანები ვერ იქნებოდა უფრო განსხვავებული

ვერბალურად ვამოწმებ რაღაცას, რაზეც საკმარისად არ ვსაუბრობთ თარგმანის ინდუსტრიაში: არა იმაზე, თარგმნიან თუ არა სხვადასხვა AI სისტემები განსხვავებულად, არამედ იმაზე, თარგმნის თუ არა ერთი და იმავე AI-ის სხვადასხვა ვერსიაგანსხვავებულად — და რამდენად.

გასულ კვირას ხუთივე ChatGPT ვერსიით ერთდროულად, MachineTranslation.com-ის შიდა ტესტირების პლატფორმაზე, ესპანური იდიომა გადავთარგმნე. რაც მივიღე, გამაოგნა.

ორმა ვერსიამ ისეთი თარგმანი მოგვცა, რომელიც, მართლაც, სისულელეა ინგლისურ ენაზე. სამი ვერსია სწორ, იდიომატურ თარგმანს იძლეოდა. და სამი სწორი ერთმანეთს არ ეთანხმებოდა.

ყველა ხუთი ChatGPT-ია. ყველა ხუთი OpenAI-ია. იგივე ხელოვნური ინტელექტი, განსხვავებული მოდელი — და შედეგები არ შეიძლება იყოს უფრო განსხვავებული.

ამას ახლა იმიტომ ვაზიარებ, რომ ვფიქრობ, ეს მნიშვნელოვანია, არა იმიტომ, რომ სუფთა პასუხები მაქვს. მე არ მინდა. მაგრამ დაკვირვება საკმარისად საინტერესოა, რომ სამყაროში გავრცელდეს.

სარჩევი

• ტესტი: ერთი ესპანური გამოთქმა, ხუთი GPT ვერსია
• რატომ არის ეს გამოთქმა კარგი ტესტის შემთხვევა
• რას გვეუბნება სიტყვასიტყვითი-იდიომატური დაყოფა იმაზე, თუ როგორ იქნა გაწვრთნილი ეს მოდელები
• დასკვნა, რომელზეც, როგორც ჩანს, არავინ საუბრობს
• სწორი თარგმანებიც კი არ ეთანხმებოდნენ ერთმანეთს
• რა ჯერ არ ვიცი
• ორი კვლევითი კითხვა, რომელზეც ღირს დაფიქრება

ტესტი: ესპანური გამოთქმა, ხუთი GPT ვერსია

გამოთქმა, რომელიც მე შევამოწმე, იყო llevarse el gato al agua.

აი, რა გამოიტანა თითოეულმა ვერსიამ:

გამოთქმა ნიშნავს რთული რამის მიღწევას, მიუხედავად დაბრკოლებებისა, რთული გამარჯვების მოპოვებას. მას კატებთან ან წყალთან არანაირი კავშირი არ აქვს. სიტყვა-სიტყვით თარგმანი არ არის თარგმანი. ეს არის სიტყვა-სიტყვით ფრაზის ტრანსკრიფცია, რომელიც მოდელმა ვერ ამოიცნო იდიომად.

GPT-4o-MINI-მ და GPT-4.1-NANO-მ იდენტური შედეგები აჩვენეს. მსგავსი არა, იდენტური. ჩვენმა თარგმანის შეხედულებებმა ეს პირდაპირ აღნიშნა: GPT-4.1-nano და GPT-4o-mini იდენტურ თარგმანებს იზიარებენ, რაც ხაზს უსვამს სიტყვასიტყვით ინტერპრეტაციას იდიომატურ მნიშვნელობაზე.

GPT-4.1-MINI, GPT-5.4-MINI და GPT-5.4 თითოეულმა შექმნა რაღაც ამოსაცნობად სწორი — მაგრამ არა ერთნაირი.

რატომ არის ეს იდიომა კარგი ტესტის შემთხვევა

მინდა ზუსტად ავხსნა, რატომ არის llevarse el gato al agua სასარგებლო ტესტის შეყვანა და არა შერჩეული.

ეს არის კარგად დამკვიდრებული იდიომა. ის გვხვდება ლიტერატურაში, ჟურნალისტიკაში და ყოველდღიურ მეტყველებაში. ეს არ არის ბნელი. ნებისმიერ მოდელს, რომელიც გაწვრთნილია ესპანური ტექსტის გონივრულ კორპუსზე , უნდა ჰქონდეს ეს ნაპოვნებული. კითხვა იმაში კი არ არის, უნახავს თუ არა მოდელს ეს ფრაზა. კითხვა ის არის, თუ რას აკეთებს ამით.

იდიომების თარგმნისას ყველაზე ცუდი მარცხის ფორმა არ არის ცუდი თარგმანის მიღება. ეს იწვევს სიტყვასიტყვით თარგმანს, რომელიც მიმზიდველად გამოიყურება იმისთვის, ვისაც არ ესმის სამიზნე ენა.

To carry the cat to the water არის გრამატიკულად სწორი ინგლისური. ის კარგად არის ჩამოყალიბებული. ეს ჟღერს ისე, თითქოს რაღაცას შეიძლება რაიმე მნიშვნელობა ჰქონდეს. მომხმარებელმა, რომელიც ესპანურს არ ფლობს, შეიძლება წაიკითხოს, თავი დაუქნიოს და გააგრძელოს — არასოდეს იცოდეს, რომ ორიგინალი მნიშვნელობა მთლიანად დაიკარგა.

} ეს არის წარუმატებლობის ის მოდელი, რომელიც მაინტერესებს. აშკარა შეცდომა არა. უხილავი.

რას გვეუბნება სიტყვასიტყვიდან იდიომატურამდე გაყოფა იმის შესახებ, თუ როგორ იწვრთნებოდნენ ეს მოდელები

აქ მოცემული ნიმუში შემთხვევითი არ არის. ორი მოდელი, რომლებმაც შექმნეს სიტყვასიტყვითი თარგმანები (GPT-4o-MINI და GPT-4.1-NANO), ორივე უფრო მცირეა, მსუბუქი მოდელები, რომლებიც ოპტიმიზირებულია სიჩქარისა და ხარჯების ეფექტურობისთვის. სამი მოდელი, რომლებმაც შექმნეს იდიომატური თარგმანები (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4), წარმოადგენენ განსხვავებულ თაობას ან პარამეტრის მასშტაბს.

ეს მიუთითებს იმაზე, რაც, ჩემი აზრით, ნაკლებად არის გამოკვლეული: თარგმანში იდიომატური კომპეტენცია მოდელის შესაძლებლობებთან ერთად იზრდება ისე, რომ არ ჩანს ზოგად ბენჩმარკებში.

ზოგადი ენობრივი ბენჩმარკები ამოწმებენ მსჯელობას, ცოდნას, კოდირებას, მათემატიკას. ისინი, როგორც წესი, არ ამოწმებენ, შეუძლია თუ არა მოდელს იმის ამოცნობა, რომ „წვიმს კატები და ძაღლები“ არ ეხება ამინდის პირობებს, ან რომ „llevarse el gato al agua“ არ ნიშნავს კატის დატენიანებას. იდიომები კულტურული ცოდნის, კონტექსტუალური დასკვნის და ნიმუშების ამოცნობის გადაკვეთაზე მდებარეობს — და ეს გადაკვეთა, როგორც ჩანს, მოითხოვს მოდელის შესაძლებლობების იმ ზღვარს, რომელსაც მცირე მოდელები თანმიმდევრულად ვერ აღწევენ.

რასაც არ ვამტკიცებ: რომ უფრო დიდი მოდელები ყოველთვის უკეთესი მთარგმნელები არიან. მე ამის მტკიცებულება არ მაქვს, როგორც ზოგადი წესი. რასაც მე ვაკვირდები: რომ იდიომატური შინაარსისთვის კონკრეტულად, ოჯახის შიგნით ვერსიების სხვაობა უფრო დიდი იყო, ვიდრე ველოდი.

ის დასკვნა, რომელზეც, როგორც ჩანს, არავინ საუბრობს

AI თარგმანის ინსტრუმენტის მომხმარებელთა უმეტესობამ არ იცის, რომელი ვერსია აქვს ამ AI-ის გამოყენებული. ისინი ხსნიან პროდუქტს, ირჩევენ ენობრივ წყვილს და იღებენ შედეგს. მოდელის მარშრუტიზაცია მათთვის უხილავია.

}ეს მნიშვნელოვანია მასშტაბის გაზრდისას. MachineTranslation.com-მა 90-დღიან პერიოდში ასობით ათასი ინგლისურ-ესპანური თარგმანის სამუშაო შეასრულა. თუ ამ სამუშაოების მნიშვნელოვანი ნაწილი ეხებოდა იდიომატურ შინაარსს (სარეკლამო ტექსტი, იურიდიული ენა, ლიტერატურული ტექსტი, ყოველდღიური კომუნიკაცია) და ხელსაწყო, რომელიც ამ სამუშაოებს ამუშავებდა, მომხმარებლებს უცოდინრად აგზავნიდა უფრო მცირე მოდელთან, მაშინ კატის წყალში წასმა ჩნდებოდა რეალურ შედეგებში, რეალურ დოკუმენტებში, რეალური ადამიანებისთვის, რომლებსაც ენდობოდნენ შედეგს.

თარგმანის ინდუსტრია წლების განმავლობაში ადარებდა AI-ის პროვაიდერებს. DeepL Google-ის წინააღმდეგ. კლოდი ChatGPT-ს წინააღმდეგ. ის შედარებები სასარგებლოა ‎. მაგრამ ერთი პროვაიდერის ფარგლებში, ვერსიის სხვაობა შეიძლება იყოს ზუსტად ისეთივე მნიშვნელოვანი — და ეს არის სხვაობა, რომელსაც უმეტესობა შედარების ჩარჩო არ ზომავს, რადგან ისინი არ ამოწმებენ მოდელ-ვერსიის დონეზე.

როდესაც ვინმე ამბობს „თარგმანისთვის ChatGPT-ს ვიყენებ“, ეს წინადადება არ არის საკმარისად კონკრეტული, რომ იყოს მნიშვნელოვანი. რომელი ChatGPT? ნანო? 4o-მინი? ‎4.1-მინი? 5.4? პასუხი ცვლის გამომავალს ისე , რომ არ არის უმნიშვნელო, ყოველ შემთხვევაში იდიომატური შინაარსისთვის.

სწორი თარგმანებიც კი არ ეთანხმებოდნენ ერთმანეთს

ეს არის ის ნაწილი, რომელიც ყველაზე მეტად მაინტერესებს და ჯერ ბოლომდე არ გამირკვევია, რას ვფიქრობ ამაზე.

სამმა მოდელმა, რომლებმაც იდიომატური თარგმანები შექმნეს, სამი განსხვავებული შექმნა:

• GPT-4.1-MINI: to pull it off successfully
• GPT-5.4-MINI: to get one's way
• GPT-5.4: to come out on top

სამივე არის დასაცავი ინგლისური თარგმანი llevarse el gato al agua‎. მაგრამ ისინი არ არიან თანაბარი.

„გამოგივიდა“ ხაზს უსვამს სირთულის მიუხედავად შესრულებას, შენ გააკეთე რთული რამ და გამოგივიდა. საკუთარი სურვილის ასრულება ხაზს უსვამს შედეგს, რომელიც გინდოდათ, რომ მიღწეულიყო, ნაკლები აქცენტით სირთულეზე. გამარჯვება ხაზს უსვამს კონკურენტულ გამარჯვებას, სხვებთან შედარებით მოგებას.

ორიგინალური ესპანური გამოთქმა ყველაზე ახლოს დგას ამ უკანასკნელთან. ფრაზა გულისხმობს წინააღმდეგობის დაძლევას, არა უბრალოდ ერთი შედეგის უპირატესობას და მის განხორციელებას. მაგრამ „საკუთარი ნების აღსრულება“ და „გამარჯვება“ არ არის არასწორი, ისინი უბრალოდ სხვადასხვა მიმართულებით არიან არაზუსტები. ეს ბადებს კითხვას, რომელიც მე ნამდვილად მიჭირს: როდესაც სამი მოდელი თითოეული იძლევა სწორ, მაგრამ განსხვავებულ იდიომატურ თარგმანს, როგორ აფასებთ, რომელია

საუკეთესო?‎ BLEU ქულები ადარებს სარეფერენციო თარგმანს — მაგრამ ვინ დაწერა რეფერენცი, და რომელი ამ სამიდან აირჩევდა?

ჩვენმა AI თარგმანმა აგენტმა, თავისი დამსახურებით, სწორი კითხვა დასვა გამომავალი მონაცემების დადასტურებამდე: რას ნიშნავს 'llevarse el gato al agua' ამ კონტექსტში?‎ სამი ვარიანტი იყო შემოთავაზებული — რთული მიზნის მიღწევა, რაღაც არასაჭიროის აღება, ან რისკიანი საქმიანობის დაწყება.‎ ის კითხვა დეკორატიული არ არის. ეს არის მექანიზმი, რომლის მეშვეობითაც კონტექსტუალური ორაზროვნება ირკვევა თარგმანის დასრულებამდე.

მაგრამ მთავარი აზრი უცვლელი რჩება: სამი სწორი პასუხი, სამი განსხვავებული მნიშვნელობის ელფერი. თარგმნის შეფასების ინსტრუმენტები არ არის შექმნილი ამგვარი ნიუანსისთვის.

რაც ჯერ არ ვიცი

მინდა ვიყო გულწრფელი იმ შეზღუდვების შესახებ, რასაც ეს ტესტი აჩვენებს.

ერთი იდიომი, ერთი ენობრივი წყვილი, შიდა ტესტირების ერთი დღე. ის არ არის კვლევა. ეს არის დაკვირვება. არ ვიცი, ეს ნიმუში (პატარა მოდელები სიტყვასიტყვით თარგმნიან, უფრო დიდი მოდელები კი იდიომატურად) მუდმივად ვრცელდება:

• სხვა ესპანურ იდიომებზე
• სხვა ენებზე, რომლებსაც მდიდარი იდიომატური ტრადიციები აქვთ (მაგალითად, არაბული, იაპონური, რუსული)
• არაიდიომატურ შინაარსზე, სადაც განსხვავება არ ვრცელდება
• გამონაკლის შემთხვევებზე, როდესაც პატარა მოდელი სწორად იჭერს იდიომს, ხოლო უფრო დიდი მოდელი ვერ ახერხებს

ასევე არ ვიცი, ეს მოდელების სტაბილური თვისებაა თუ ის, რაც იცვლება განახლებებით და დახვეწით. მოდელების მიმწოდებლები არ აქვეყნებენ თარგმანთან დაკავშირებულ ცვლილებების ჩანაწერებს. მოდელის ვერსია, რომელიც დღეს სწორად ამუშავებს llevarse el gato al agua, შესაძლოა მომავალ თვეში განახლდეს და ჩვენ ამის შესახებ არაფერი გვეცოდინება.

რაც ვიცი: ამ ტესტმა ისეთი საინტერესო შედეგი გამოიღო, რომ მინდა ჩავატარო მეტი ასეთი ტესტი, უფრო სისტემატურად, მეტ ენობრივ წყვილებსა და შინაარსის ტიპებზე. როდესაც უფრო მეტის გაზიარება მომიწევს, გავაკეთებ.

ორი კვლევითი კითხვა, რომელზეც ღირს დაფიქრება

დავასრულებ ორი კითხვით, რომელიც ამ ტესტმა დამიტოვა. მე მათ არ ვუპასუხებ, ჯერჯერობით ამის მონაცემები არ მაქვს. მაგრამ ვფიქრობ, რომ ეს სწორი კითხვებია.

პირველი: რა პარამეტრის ზღვარზე ხდება იდიომატური კომპეტენცია სანდო?

GPT-4o-MINI-დან და GPT-4.1-NANO-დან (ორივე სიტყვასიტყვით) GPT-4.1-MINI-მდე (იდიომატური) გადასვლა მიგვანიშნებს, რომ ამ მოდელების ზომებს შორის პარამეტრების დიაპაზონში არის ზღვარი , სადაც იდიომების ამოცნობა ირთვება. შეესაბამება? ეხება თუ არა ეს იდიომებს ყველა ენაზე, თუ ეს დამოკიდებულია იმაზე, თუ რამდენად კარგად არის წარმოდგენილი ენა სასწავლო მონაცემებში? არ ვიცი. მაგრამ ცოდნა სასარგებლო იქნება ყველასთვის, ვინც თარგმანის სამუშაო ნაკადებს აყალიბებს.

მეორე: რა დაჯდება მოდელის ვერსიის გაუმჭვირვალობა მომხმარებლებისთვის მასშტაბურად?

თუ მომხმარებელი თვეში 1000 დოკუმენტს ამუშავებს ინსტრუმენტით, რომელიც არ ამხელს, რომელი მოდელის ვერსია გამოიყენება (და ზოგიერთი ამ დოკუმენტებიდან შეიცავს იდიომატურ შინაარსს), რამდენად ხშირად ხდება სიტყვა-სიტყვით შეცდომა უხილავად? როგორ გაიგებდნენ ამას? რა არის ფასი, რეალურ გამოხატულებაში, იმისა, რომ არასოდეს გავიგოთ?

ვფიქრობ, ეს უფრო მნიშვნელოვანი კითხვაა, ვიდრე ამჟამად გავრცელებული უმეტესი რომელი AI არის საუკეთესო თარგმანისთვის შედარებები.‎ პასუხი არ არის „გამოიყენე ყველაზე დიდი მოდელი.“ პასუხი შეიძლება იყოს: იცოდე რას იყენებ, ჩაატარე საკუთარი ტესტები საკუთარ შინაარსზე და ნუ ივარაუდებ, რომ ერთი პროვაიდერის სახელი გარანტიას იძლევა თანმიმდევრულ ქცევაზე მათი მოდელის ასორტიმენტში.

ყოველ შემთხვევაში, ასე გავიგე ამ ტესტიდან.

კვლევითი კითხვები

1. მოდელის ზომა საიმედოდ პროგნოზირებს იდიომატური თარგმანის ხარისხს?

ამ ერთი ტესტის საფუძველზე: ერთი და იგივე ხელოვნური ინტელექტის ოჯახში შემავალი უფრო პატარა, ეფექტურობისთვის ოპტიმიზირებული მოდელები ნაგულისხმევად თარგმნიდნენ კარგად დამკვიდრებულ ესპანურ იდიომას, მაშინ როდესაც იმავე მოდელის უფრო დიდი/ახალი ვერსიები სწორ იდიომატურ რენდერებს იძლეოდა. იგივე ეხება თუ არა იდიომების კატეგორიებსა და ენობრივ წყვილებს, ეს არის შემდეგი კითხვა. უფრო მეტ ტესტს ჩავატარებ.

2. რატომ გამოიწვია სამმა „სწორმა“ იდიომატურმა თარგმანმა სამი მნიშვნელობით განსხვავებული შედეგი?

GPT-4.1-MINI, GPT-5.4-MINI და GPT-5.4 იდიომატურად თარგმნეს llevarse el gato al agua — მაგრამ განსხვავებულ ინგლისურ გამოთქმებად, რომლებსაც დახვეწილი განსხვავებული კონოტაციები აქვთ. ეს მიგვანიშნებს , რომ იდიომატური თარგმანის ხარისხს, სულ მცირე, ორი განზომილება აქვს: ამოიცნობს თუ არა მოდელი იდიომას, და რომელი ექვივალენტური გამოთქმა შეირჩევა სამიზნე ენის ხელმისაწვდომი ვარიანტებიდან. სტანდარტული თარგმანის ხარისხის მეტრიკა არ განასხვავებს ამ ორ განზომილებას. ვფიქრობ, რომ უნდა.

ეს პოსტი ეფუძნება MachineTranslation.com-ის განვითარების პლატფორმაზე ჩატარებულ შიდა ტესტირებას. აქ ნაჩვენები მრავალმოდელიანი ვერსიის ტესტირება ჯერ არ არის საჯაროდ ხელმისაწვდომი. ვზიარებ ამ დასკვნას, რადგან ვფიქრობ, რომ ეს დაკვირვება სასარგებლოა, სადაც არ უნდა აწარმოოთ თქვენი თარგმანები.