E njëjta AI, model tjetër — dhe përkthimet nuk mund të ishin më të ndryshme

Kam qenë duke bërë teste të brendshme për diçka për të cilën nuk flasim mjaftueshëm në industrinë e përkthimit: jo nëse sistemet e ndryshme të AI-së përkthejnë ndryshe, por nëse versionet e ndryshme të së njëjtës AI përkthejnë ndryshe – dhe me sa shumë.

Javën e kaluar kalova një shprehje të vetme spanjolle përmes pesë versioneve të ChatGPT njëkohësisht në platformën e testimit të brendshëm të MachineTranslation.com. Ajo që u kthye më ndaloi.

Dy versione prodhuan një përkthim që, me të vërtetë, është pa kuptim në anglisht. Tre versione prodhuan përkthime idiomatike të sakta. Dhe tre të saktat nuk u morën vesh me njëra-tjetrën.

Të pesë janë ChatGPT. Të gjithë pesë janë OpenAI. E njëjta AI, model tjetër — dhe rezultatet nuk mund të jenë më të ndryshme.

Po e ndaj këtë tani sepse mendoj se ka rëndësi, jo sepse kam përgjigje të qarta. Nuk kam. Por vëzhgimi është mjaft interesant për ta vendosur në botë.

Tabela e përmbajtjes

• Testi: Një idiomë spanjolle, pesë versione GPT
• Pse kjo idiomë bën një rast testimi të mirë
• Çfarë na tregon ndarja nga fjalë-për-fjalë te idiomatike rreth asaj se si këto modele u trajnua
• Implikimi për të cilin duket se askush nuk po flet
• Edhe përkthimet korrekte nuk u pajtuan me njëra-tjetrën
• Çfarë nuk e di ende
• Dy pyetje kërkimore që ia vlen të mendohen

Testi: Një idiomë spanjolle, pesë versione GPT

Fraza që testova ishte llevarse el gato al agua.

Ja çfarë prodhoi secili version:

Fraza do të thotë të arrish diçka të vështirë kundër të gjitha pritshmërive, të fitosh një fitore të vështirë. Nuk ka lidhje me macet apo ujin. Përkthimi literal nuk është një përkthim. Është një transkriptim fjalë për fjalë i një fraze që modeli nuk arriti ta njohë si një idiomë.

GPT-4o-MINI dhe GPT-4.1-NANO prodhuan rezultate identike. Jo e ngjashme, identike. Analiza jonë e përkthimit e shënoi këtë drejtpërdrejt: GPT-4.1-nano dhe GPT-4o-mini ndajnë përkthime identike, duke theksuar interpretimin literal mbi kuptimin idiomatik.

GPT-4.1-MINI, GPT-5.4-MINI, dhe GPT-5.4 secili prodhoi diçka të njohur si të saktë — por jo të njëjtën me njëri-tjetrin.

Pse ky idiomë bën një rast testues të mirë

Dua të jem i saktë për arsyen pse llevarse el gato al agua është një input testues i dobishëm dhe jo një i zgjedhur me kujdes.

Është një idiomë e vendosur mirë. Shfaqet në letërsi, gazetari, dhe biseda e përditshme. Nuk është e errët. Çdo model i trajnuar në një korpus të arsyeshëm tekstesh spanjolle duhet ta ketë hasur atë. Pyetja nuk është nëse modeli e ka parë shprehjen. Pyetja është se çfarë bën me të.

Mënyra më e keqe e dështimit në përkthimin e idiomeve nuk është prodhimi i një përkthimi të keq. Po prodhon një përkthim literal që duket e pranueshme për dikë që nuk e di gjuhën e synuar.

To carry the cat to the water është anglisht gramatikisht e saktë. Është mirëformuar. Tregon si diçka që mund të nënkuptojë diçka. Një përdorues që nuk flet spanjisht mund ta lexojë, të tundë kokën dhe të vazhdojë — duke mos ditur kurrë që kuptimi origjinal u humb plotësisht.

Ky është mënyra e dështimit për të cilën më intereson. Jo gabimi i dukshëm. Ai i padukshmi.

Çfarë na tregon ndarja nga fjalë-për-fjalë te idiomatike rreth mënyrës se si u trajnua këto modele

Ky model nuk është rastësor. Dy modelet që prodhuan përkthime dosido (GPT-4o-MINI dhe GPT-4.1-NANO) janë të dyja modele më të vogla, më të lehta të optimizuara për shpejtësi dhe efikasitet kostosh. Tre modelet që prodhuan përkthime idiomatike (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) përfaqësojnë një gjeneratë tjetër ose shkallë parametërsh.

Kjo sugjeron diçka që mendoj se është pak e eksploruar: aftësia idiomatike në përkthim rritet me kapacitetin e modelit në mënyra që nuk janë të dukshme në benchmark-et e përgjithshme.

Benchmark-et e përgjithshme të gjuhës testojnë arsyetimin, njohuritë, kodimin, matematikën. Ata nuk testojnë zakonisht nëse një model mund të identifikojë që bie shi me thesme nuk ka të bëjë me kushtet e motit, ose që llevarse el gato al agua nuk ka të bëjë me hidratimin e një maceje. Idiomat qëndrojnë në kryqëzimin e njohurive kulturore, inferencës kontekstuale dhe njohjes së modeleve — dhe ai kryqëzim duket se kërkon një prag kapaciteti modeli që modelet më të vogla nuk e kalojnë në mënyrë të qëndrueshme.

Ajo që nuk po pretendoj: se modelet më të mëdha janë gjithmonë përkthyes më të mirë . Nuk kam prova për këtë si rregull të përgjithshëm. Ajo që unë po vërej: se për përmbajtje idiomatike në mënyrë specifike, hendeku i versionit brenda familjes ishte më i madh nga sa prisja.

Implikimi që duket se askush nuk po flet për të

Shumica e përdoruesve që përdorin një mjet përkthimi AI nuk e dinë se cilin version të atij AI po përdorin. Ata hapin një produkt, zgjedhin një çift gjuhësh dhe marrin një rezultat. Routimi i modelit është i padukshëm për ta.

Kjo ka rëndësi në shkallë. MachineTranslation.com përpunoi mbi qindra mijëra punë përkthimi nga anglishtja në spanjisht në një periudhë të vetme prej 90 ditësh. Nëse një pjesë e rëndësishme e atyre vendeve të punës prekte përmbajtje idiomatike (tekste marketingu, gjuhë ligjore, tekst letrar, komunikim i rastësishëm) dhe mjeti që drejtonte ato vende pune po i drejtonte përdoruesit drejt një modeli më të vogël pa dijeninë e tyre, atëherë të bartësh macen në ujë po shfaqej në rezultate reale, në dokumente reale, për njerëz realë që i besonin rezultatin.

Industria e përkthimit ka kaluar vite duke krahasuar ofruesit e AI. DeepL kundrejt Google. Claude kundër ChatGPT. Ato krahasime janë të dobishme. Por brenda një ofruesi të vetëm, hendeku i versionit mund të jetë po aq i rëndësishëm — dhe është një hendek që shumica e kornizave krahasuese nuk e matin, sepse ato nuk testojnë në nivelin e versionit të modelit.

Kur dikush thotë Unë përdor ChatGPT për përkthim, ajo fjali nuk është mjaftueshëm specifike për të qenë kuptimplote. Cili ChatGPT? Nano? 4o-mini? 4.1-mini? 5.4? Përgjigja ndryshon rezultatin në mënyra që nuk janë triviale, të paktën për përmbajtje idiomatike.

Edhe përkthimet korrekte nuk ishin dakord me njëri-tjetrin

Ky është pjesa që më duket më interesante, dhe ende nuk e kam kuptuar plotësisht çfarë të bëj me të.

Tre modelet që prodhuan përkthime idiomatike dhanë tre të ndryshme:

• GPT-4.1-MINI: ta realizosh me sukses
• GPT-5.4-MINI: të arrish qëllimin tënd
• GPT-5.4: të dalësh në krye

Të treja janë përkthime të mbrojtshme në anglisht të llevarse el gato al agua. Por nuk janë ekuivalente.

Ta arrish thekson ekzekutimin kundrejt vështirësisë, ti bëre diçka të vështirë dhe ajo funksionoi. Të marrësh rrugën tënde thekson rezultatin që dëshiroje të arrihej, me më pak theksim te vështirësia. Dalësh fitues thekson fitoren konkurruese, duke fituar në raport me të tjerët.

Shprehja origjinale spanjolle është më e afërt me të parën nga këto. Shprehja mbart konotacionin e tejkalimit të rezistencës, jo thjesht preferimin e një rezultati dhe realizimin e tij. Por për të marrë rrugën e vet dhe për të dalë në krye nuk janë të gabuara, thjesht janë të pasakta në drejtime të ndryshme.

Kjo ngre një pyetje që unë e gjej me të vërtetë të vështirë: kur tre modele prodhojnë secili një përkthim idiomatik korrekt, por të dallueshëm, si e vlerësoni se cili është më i miri? Rezultatet BLEU krahasohen me një përkthim referencë — por kush e shkroi referencën, dhe cilin nga këta tre do të kishin zgjedhur ata? Agjenti ynë i Përkthimit AI, për meritë të tij, bëri pyetjen e duhur para

se të angazhohej në ndonjë dalje: Cfarë kuptimi ka për qëllim 'llevarse el gato al agua' në këtë kontekst? Tre opsione u ofruan — të arrihej një qëllim i vështirë, të merrej diçka e panevojshme, ose të angazhohej në një aktivitet të rrezikshëm. Ajo pyetje nuk është dekorative. Është mekanizmi me të cilin zgjidhet paqartësia kontekstuale para se të finalizohet përkthimi.

Por pika qëndron: tre përgjigje të sakta, tre nuanca të ndryshme kuptimi. Mjetet e vlerësimit të përkthimit nuk janë krijuar për këtë lloj nuance.

Ajo që nuk e di ende

Dua të jem i sinqertë për kufizimet e asaj që tregon ky test.

Një idiomë, një çift gjuhësh, një ditë testimi të brendshëm. Ajo nuk është një studim. Është një vëzhgim. Nuk e di nëse ky model (modelet më të vogla duke përdorur fjalë për fjalë, modelet më të mëdha duke arritur idiomatike) qëndron në mënyrë të qëndrueshme në: Idioma të tjera spanjolle Idioma të tjera me tradita të pasura idiomatike (më shkojnë ndërmend arabishtja, japonezja, rusishtja) Përmbajtje jo-idiomatike ku dallimi nuk vlen Raste kufitare ku një model më i vogël e kupton idiomën dhe një më i madh e humbet gjithashtu nuk e di nëse kjo është një pronë e qëndrueshme e këtyre modeleve apo diçka që ndryshon me përditësime dhe rregullime. Ofruesit e modeleve nuk publikojnë regjistra ndryshimesh specifikë për përkthimin. Një version modeli që trajton llevarse el gato al agua siç duhet sot mund të përditësohet muajin e ardhshëm, dhe ne nuk do të kishim asnjë mënyrë për ta ditur.

• Atë që
• e di: ky test prodhoi një rezultat
• aq interesant sa
• dua të bëj më shumë prej

tyre, më sistematikisht, në më shumë çifte gjuhësh dhe lloje përmbajtjesh.

Kur të kem më shumë për të ndarë, do ta bëj.

Dy pyetje kërkimore që ia vlen të mendohen

Do të mbyll me dy pyetjet që më la ky test. Nuk do t'u përgjigjem atyre, nuk kam ende të dhënat për ta bërë këtë. Por mendoj se janë pyetjet e duhura për t'u bërë.

Së pari: në çfarë parametri kufiri bëhet e besueshme kompetenca idiomatike? Kërcimi nga GPT-4o-MINI

dhe GPT-4.1-NANO (të dyja fjalë për fjalë) te GPT-4.1-MINI (idiomatike) sugjeron se ka një prag diku në gamën e parametrave midis atyre madhësive të modeleve ku ndizet njohja e idiomave. A është konseguente? A aplikohet te idiomat në të gjitha gjuhët, apo varet nga sa e përfaqësuar është një gjuhë në të dhënat e trajnimit? Nuk e di. Por të dish do të ishte e dobishme për këdo që krijon flukse pune për përkthim.

Së dyti: çfarë kostoje ka errësira e versionit të modelit për përdoruesit në shkallë të gjerë?

Nëse një përdorues përpunon 1,000 dokumente në muaj përmes një mjeti që nuk zbulon se cili version i modelit po përdoret (dhe disa nga ato dokumente përmbajnë përmbajtje idiomatike), sa shpesh po ndodh dështimi literal në mënyrë të padukshme? Si do ta dinin? Cila është kosto, në terma realë, e moszbulimit kurrë?

Mendoj se kjo është një pyetje më e rëndësishme se shumica e krahasimeve cila AI është më e mira për përkthim aktualisht qarkulluese. Përgjigja nuk është përdorni modelin më të madh. Përgjigja mund të jetë: dije çfarë po përdor, bëj vetë testet e tua në përmbajtjen tënde, dhe mos supozoni se emri i një ofruesi është garanci e sjelljes së qëndrueshme në të gjithë gamën e modeleve të tyre .

Kjo, të paktën, është ajo që po nxjerr nga ky test.

Kërkime pyetjesh

1. A mosha e modelit parashikon me besueshmëri cilësinë e përkthimit idiomatik?

Bazuar në këtë test të vetëm: modelet më të vogla, të optimizuara për efikasitet brenda së njëjtës familje AI, u përkthyen në mënyrë të parazgjedhur në përkthimin literal të një idiome spanjolle të vërtetuar mirë, ndërsa versionet më të mëdha/më të reja të së njëjtës model prodhuan përkthime idiomatike të sakta. A ky qëndron në të gjitha kategoritë e idiove dhe çifteve gjuhësore është pyetja tjetër. Do të bëj më shumë teste.

2. Pse tre përkthime idiomatike korrekte prodhuan tre rezultate kuptimisht të ndryshme?

GPT-4.1-MINI, GPT-5.4-MINI dhe GPT-5.4 të gjitha përkthyenllevarse el gato al agua idiomatikisht — por në shprehje të ndryshme angleze me konotacione lehtësisht të ndryshme. Kjo sugjeron se cilësia e përkthimit idiomatik ka të paktën dy dimensione: nëse modeli e njeh fare idiomin, dhe cilin shprehje ekuivalente zgjedh nga opsionet e disponueshme të gjuhës target. Matrikset standard të cilësisë së përkthimit nuk i ndajnë qartë këto dy dimensione. Mendoj se duhet.

Ky postim bazohet në testimin e brendshëm në platformën e zhvillimit të MachineTranslation.com. Testimi i versionit me shumë modele që tregohet këtu nuk është ende i disponueshëm publikisht. Po ndaj gjetjen sepse mendoj se vëzhgimi është i dobishëm pavarësisht se ku i kryeni përkthimet tuaja.