LLM prieš AI agentą vertime ir ką kiekvienas gali praleisti

Jei renkatės tarp LLM ir AI agento vertimui, etiketė mažai ką pasako apie tai, kas gali nutikti ne taip. Vienas LLM iškvietimas gali užtikrintai pateikti klaidingą atsakymą be jokio įspėjimo. Agentas gali užduoti teisingą klausimą, tačiau kiekvienas jo žingsnis prideda laiko ir dar vieną vietą suklysti.

Tris skirtingus dalykus dažnai vienija pavadinimas „AI agentas“: vienas LLM iškvietimas, darbo eiga, kurioje vienu metu veikia daug modelių, ir agentas, kuris planuoja bei veikia ciklu. Svetainėje MachineTranslation.com naudojame visus tris. Toliau pateikti skirtumai kyla iš jų naudojimo gamybinėje aplinkoje.

Pagrindinės įžvalgos

• Vienas LLM iškvietimas pateikia vieną atsakymą be jokio signalo apie tai, ar tas atsakymas yra teisingas.
• AI agentas pats pasirenka savo veiksmus, todėl kiekvienas papildomas žingsnis prideda laiko ir dar vieną vietą suklysti.
• Kelių modelių konsensusas yra fiksuoto kelio darbo eiga, o lygiagrečiai paleidus 22 modelius laukimas priklauso nuo lėčiausio modelio, tuo tarpu paleidus juos iš eilės laukimo laikas būtų visų 22 suma.
• Viename paleidimo pavyzdyje penki modeliai išvertė keturių žodžių frazę ir pateikė rezultatą per 751 milisekundę.
• Konsensusas negali pastebėti pasirinkimo, kurį kiekvienas modelis atlieka vienodai, pavyzdžiui, oficialios japonų kalbos frazės „labas rytas“, todėl MachineTranslation.com prideda AI Translation Agent, kuris paprašo vartotojo trūkstamo konteksto.

Kuo skiriasi LLM ir AI agentas vertime?

LLM yra modelis. Jūs nusiunčiate tekstą ir gaunate tekstą atgal vienu iškvietimu. AI agentas yra sistema, sukurta aplink LLM. „Anthropic“ inžinierių komanda juos atskiria pagal tai, kas nusprendžia dėl veiksmų. Darbo eigoje kodas žingsnius nustato iš anksto. Agente LLM pats renkasi savo žingsnius ir įrankius.

Tai suteikia tris vertimo formas. Vienas LLM iškvietimas yra paprasčiausias ir pateikia vieną atsakymą be jokio signalo apie tai, ar tas atsakymas yra teisingas. Darbo eiga, pavyzdžiui, daugelio modelių vykdymas vienu metu ir rezultatų palyginimas, vyksta fiksuotu keliu. Agentas veikia ciklu. Jis nusprendžia, ką daryti, tai atlieka ir patikrina rezultatą. Jis taip pat gali užduoti vartotojui klausimą prieš tęsdamas.

Vienas LLM iškvietimas yra vienas žingsnis. Konsensuso darbo eiga siunčia tą patį tekstą daugeliui modelių vienu metu, o tada palygina rezultatus. Agentas cikliškai planuoja, veikia ir tikrina bei gali sustoti, kad užduotų klausimą vartotojui.

Ką DI agentai suteikia vertimui ir kokia jų kaina?

Agentas prideda sprendimus, kurių negali priimti vienas modelio iškvietimas. Jis gali paklausti, ar sakinys turėtų būti oficialus, ar neoficialus. Jis taip pat gali ieškoti termino ir patikrinti savo juodraštį. Kiekvienas iš šių veiksmų yra papildomas žingsnis, o kiekvienas žingsnis prideda laiko ir dar vieną galimą nesėkmės vietą.

„Anthropic“ rekomenduoja pradėti nuo paprasčiausio veikiančio sprendimo. Naudokite darbo eigą aiškiai apibrėžtai užduočiai, o agentą naudokite tada, kai užduočiai reikia lanksčių sprendimų. Mes laikomės tos pačios taisyklės. „AI Translation Agent“ yra atskiras sluoksnis, kuris įsiterpia tik tada, kai sakinyje kažkas lieka neaišku, pavyzdžiui, teksto oficialumo lygis.

Kur pritaikomas kelių modelių konsensusas?

Kelių modelių konsensusas yra fiksuoto kelio darbo eiga. Tas pats tekstas vienu metu pateikiamas kiekvienam modeliui. Rezultatai palyginami, ir grąžinama ta versija, dėl kurios sutaria dauguma modelių. „Anthropic“ kelių bandymų vykdymo vienu metu praktiką, siekiant padidinti pasitikėjimą, vadina paralelizavimu.

Inžinerinė problema yra laikas. Jei 22 modeliai veiktų vienas po kito, laukimas būtų 22 iškvietimų suma. Jie veikia lygiagrečiai, todėl laukimą lemia lėčiausias modelių grupės modelis, kaip aprašome savo vadove, kaip gauti patikrintus vertimus „Claude“ ar „ChatGPT“. Viename paleidimo pavyzdyje penki modeliai išvertė keturių žodžių frazę ir pateikė rezultatą per 751 milisekundę. Ilgesnis tekstas užtrunka ilgiau, ir galioja ta pati taisyklė.

Išbandėme grupių dydžius ir apsistojome ties 22. Esant mažesniam modelių skaičiui, sutarimo signalas susilpnėja. Esant didesniam, pradeda didėti delsa. Naudotojas mato vieną rezultatą. Darbas, dėl kurio viskas vyko greitai, buvo atliktas dar prieš spustelėjimą.

Ką konsensusas praleidžia, o agentas gali pastebėti?

Konsensusas gali matyti tik nesutarimą tarp modelių, todėl negali pastebėti pasirinkimo, kurį kiekvienas modelis atlieka vienodai. Mūsų įprastų frazių testuose visi septyni rodomi modeliai išvertė „good morning“ į japonų kalbą su oficialiu おはようございます, tyliu sprendimu dėl mandagumo, apie kurį naudotojo niekas nepaklausė.

Prancūziškas „Je t'aime“ sekė tuo pačiu modeliu. Modeliai sutarė dėl vieno vertimo, tačiau frazė gali išreikšti romantišką, platonišką ar šeimyninę meilę, o tiesioginis vertimas nenurodo, kurią būtent. Palyginimo žingsnis neturi ko lyginti, kai kiekvienas modelis atsako vienodai.

Ši spraga yra priežastis, kodėl „AI Translation Agent“ veikia kaip atskiras sluoksnis. Jis klausia apie registrą, auditoriją ir toną tik tada, kai tekste jie lieka neapibrėžti. Konsensusas pastebi nesutariančius modelius. Agentas pastebi tai, ką jie visi numano.

Kokie yra skirtingi DI agentų tipai ir kurie iš jų svarbūs vertimui?

DI vadovėliai agentus skirsto pagal tai, kaip jie nusprendžia, ką daryti. Šis klasikinis sąrašas prasideda nuo paprastų refleksinių agentų, reaguojančių į esamą įvestį, pereina prie tikslu grįstų agentų, planuojančių rezultatą, ir baigiasi besimokančiais agentais, tobulėjančiais pagal grįžtamąjį ryšį.

Sisteminiu požiūriu, kiekvienas žingsnis šiame sąraše aukštyn prideda būsenos valdymą ir palaikomus ciklus. Vertimui labiausiai naudinga tikslu grįsta dalis, nes vertimas dažnai priklauso nuo konteksto, kurio esamame sakinyje nėra. Būtent čia veikia mūsų AI Translation Agent. Jis siekia kontekstą atitinkančio vertimo, o jo pagrindinis įrankis yra klausimas vartotojui.

Ar yra vertimo modelių, kurie nėra LLM?

Taip, nes neuroninio mašininio vertimo sistemos yra apmokytos tik versti iš vienos kalbos į kitą, todėl jos yra kitokio tipo modeliai nei bendrosios paskirties LLM. Kai kurie LLM šeimos modeliai taip pat veikia kitaip. Dauguma LLM generuoja po vieną leksemą vienu metu. „Inception Labs“ sukurtas „Mercury“ yra difuzinis kalbos modelis, lygiagrečiai generuojantis teksto blokus, apie kurį rašome savo įraše apie „Gemma“ ir „Mercury“ įtraukimą į platformą.

Tai, ar labiau tinka neuroninio vertimo API, ar LLM, priklauso nuo užduoties. Neuroninio vertimo API pateikia modelį, sukurtą vienai užduočiai, o LLM gali vadovautis instrukcijomis ir naudoti daugiau konteksto. MachineTranslation.com variklių rinkinį sudaro tiek tradiciniai mašininio vertimo varikliai, tiek LLM, todėl viena užklausa gali naudoti bet kurį iš jų.

Kokie LLM yra stipriausi vertimui?

Stipriausias LLM priklauso nuo kalbų poros ir krypties, todėl platformos lygiu nepasirenkame vieno. Į rinkinį įtraukti ChatGPT, Claude, Gemini, DeepSeek, Qwen, Grok ir Mistral AI. Kiekvienas modelis veikia lygiagrečiai, todėl pridėjus ar pakeitus modelį laukimo laikas nepailgėja. Konkrečių modelių kokybės rezultatai gaunami atliekant mūsų modelių palyginimo testus.

Kaip DI agentai naudoja MachineTranslation.com?

DI agentai ir asistentai gali iškviesti MachineTranslation.com kaip įrankį. MCP connector leidžia mokamiems prenumeratoriams jį naudoti iš Claude, ChatGPT, Copilot ar bet kurio asistento, palaikančio pasirinktines jungtis. Užklausa lygiagrečiai apdorojama tame pačiame 22 modelių rinkinyje ir grąžinama versija, dėl kurios sutinka dauguma jų. Asistentui vertimas tampa vienu įrankio iškvietimu. Modelių palyginimas lieka mūsų pusėje, o pokalbyje matomas tik rezultatas.

Galite stebėti lygiagretų vykdymą ir agento klausimus su savo tekstu. Įklijuokite sakinį į MachineTranslation.com, ir modeliai bus paleisti vienu metu. Agentas klausia tik tada, kai sakinyje lieka neaiškumų.

Dažniausiai užduodami klausimai