LLM vs agent AI w tłumaczeniu i co każdy z nich może przeoczyć

Jeśli wybierasz między LLM a agentem AI do tłumaczenia, sama nazwa mówi niewiele o tym, co może pójść nie tak. Pojedyncze wywołanie LLM może zwrócić pewną siebie, błędną odpowiedź bez żadnego ostrzeżenia. Agent może zadać właściwe pytanie, ale każdy jego krok wydłuża czas i tworzy kolejne miejsce na błąd.

Trzy różne pojęcia często dzielą nazwę "AI agent": pojedyncze wywołanie LLM, workflow uruchamiający wiele modeli naraz oraz agent, który planuje i działa w pętli. W MachineTranslation.com korzystamy ze wszystkich trzech. Poniższe różnice wynikają z uruchamiania ich w środowisku produkcyjnym.

Kluczowe wnioski

• Pojedyncze wywołanie LLM zwraca jedną odpowiedź bez żadnego sygnału o tym, czy ta odpowiedź jest poprawna.
• Agent AI sam wybiera swoje kroki, więc każdy dodatkowy krok wydłuża czas i tworzy kolejne miejsce na błąd.
• Konsensus wielu modeli to workflow o stałej ścieżce, a równoległe uruchomienie 22 modeli sprawia, że czas oczekiwania zależy od najwolniejszego modelu, podczas gdy uruchomienie ich sekwencyjnie oznaczałoby sumę czasów wszystkich 22.
• W jednym przykładzie wdrożeniowym pięć modeli przetłumaczyło czterowyrazową frazę i zwróciło wynik w 751 milisekund.
• Konsensus nie wychwyci wyboru, którego każdy model dokonuje w ten sam sposób, takiego jak formalny japoński odpowiednik dla "good morning", dlatego MachineTranslation.com dodaje moduł AI Translation Agent, który prosi użytkownika o brakujący kontekst.

Jaka jest różnica między LLM a agentem AI w tłumaczeniu?

LLM to model. Wysyłasz tekst i otrzymujesz tekst w odpowiedzi, w ramach jednego wywołania. Agent AI to system zbudowany wokół LLM. Zespół inżynieryjny Anthropic rozróżnia oba te rozwiązania na podstawie tego, kto decyduje o kolejnych krokach. W workflow to kod ustala kroki z wyprzedzeniem. W agencie to LLM wybiera własne kroki i narzędzia.

Daje to trzy modele tłumaczenia. Pojedyncze wywołanie LLM jest najprostsze i zwraca jedną odpowiedź bez żadnego sygnału o tym, czy ta odpowiedź jest prawidłowa. Workflow, taki jak uruchamianie wielu modeli naraz i porównywanie wyników, podąża ustaloną ścieżką. Agent działa w pętli. Decyduje, co zrobić, wykonuje to i sprawdza rezultat. Może również zadać użytkownikowi pytanie przed kontynuowaniem.

Pojedyncze wywołanie LLM to jeden krok. Workflow konsensusu wysyła ten sam tekst do wielu modeli naraz, a następnie porównuje wyniki. Agent wykonuje pętlę obejmującą planowanie, działanie i weryfikację, i może się zatrzymać, aby zadać użytkownikowi pytanie.

Co agenci AI wnoszą do tłumaczenia i jakim kosztem?

Agent wnosi decyzje, których pojedyncze wywołanie modelu nie jest w stanie podjąć. Może zapytać, czy zdanie powinno mieć charakter formalny, czy swobodny. Może również sprawdzić termin i zweryfikować własną wersję roboczą. Każde z tych działań to dodatkowy krok, a każdy krok wydłuża czas i tworzy kolejne miejsce potencjalnego błędu.

Wskazówki od Anthropic mówią, aby zaczynać od najprostszego działającego projektu. Należy użyć przepływu pracy w przypadku dobrze zdefiniowanego zadania, a agenta wtedy, gdy zadanie wymaga elastycznych decyzji. Stosujemy tę samą zasadę. AI Translation Agent to osobna warstwa, która wkracza tylko wtedy, gdy zdanie pozostawia pewne kwestie otwarte, na przykład to, jak bardzo formalny powinien być tekst.

Gdzie w tym wszystkim mieści się konsensus wielomodelowy?

Konsensus wielomodelowy to przepływ pracy o stałej ścieżce. Ten sam tekst trafia do każdego modelu jednocześnie. Wyniki są porównywane i zwracana jest wersja, co do której zgadza się większość modeli. Anthropic nazywa praktykę jednoczesnego uruchamiania kilku prób w celu zwiększenia pewności paralelizacją.

Problemem inżynieryjnym jest czas. Gdyby 22 modele działały jeden po drugim, czas oczekiwania byłby sumą 22 wywołań. Działają one równolegle, więc czas oczekiwania jest determinowany przez najwolniejszy model w puli, jak opisujemy w naszym przewodniku po uzyskiwaniu zweryfikowanych tłumaczeń w Claude lub ChatGPT. W jednym z przykładów wdrożeniowych pięć modeli przetłumaczyło czterowyrazową frazę i zwróciło wynik w 751 milisekund. Dłuższy tekst wymaga więcej czasu, ale obowiązuje ta sama zasada.

Przetestowaliśmy wielkości puli i zdecydowaliśmy się na 22. Przy mniejszej liczbie modeli sygnał zgodności słabnie. Przy większej zaczynają pojawiać się opóźnienia. Użytkownik widzi jeden wynik. Praca, która sprawiła, że pojawił się tak szybko, odbyła się przed kliknięciem.

Co umyka konsensusowi, a co może wychwycić agent?

Konsensus widzi jedynie rozbieżności między modelami, więc nie jest w stanie wychwycić wyboru, którego każdy model dokonuje w ten sam sposób. W naszych testach popularnych fraz wszystkie siedem przedstawionych modeli przetłumaczyło „good morning” na język japoński przy użyciu formalnego おはようございます, co było cichą decyzją dotyczącą uprzejmości, o którą nikt użytkownika nie zapytał.

Francuskie „Je t'aime” powieliło ten sam wzorzec. Modele były zgodne co do jednego tłumaczenia, ale fraza ta może wyrażać miłość romantyczną, platoniczną lub rodzinną, a bezpośrednie tłumaczenie nie precyzuje, o którą chodzi. Krok porównawczy nie ma czego porównywać, gdy każdy model odpowiada tak samo.

Ta luka jest powodem, dla którego AI Translation Agent działa jako osobna warstwa. Pyta o rejestr, odbiorców i ton tylko wtedy, gdy tekst pozostawia te kwestie otwarte. Konsensus wychwytuje modele, które się różnią. Agent wychwytuje to, co wszystkie z nich bezkrytycznie zakładają.

Jakie są różne typy agentów AI i które z nich mają znaczenie dla tłumaczenia?

Podręczniki dotyczące sztucznej inteligencji dzielą agentów według sposobu podejmowania przez nich decyzji. Klasyczna lista obejmuje zakres od prostych agentów odruchowych, które reagują na bieżące dane wejściowe, poprzez agentów opartych na celach, którzy planują działania pod kątem osiągnięcia rezultatu, aż po agentów uczących się, którzy doskonalą się dzięki informacjom zwrotnym.

W ujęciu systemowym każdy kolejny poziom na tej liście dodaje stan oraz pętle wymagające obsługi. Tłumaczenie czerpie najwięcej korzyści z podejścia opartego na celach, ponieważ przekład często zależy od kontekstu, którego bieżące zdanie nie zawiera. Właśnie tam działa nasz AI Translation Agent. Dąży on do uzyskania tłumaczenia pasującego do kontekstu, a jego głównym narzędziem jest pytanie skierowane do użytkownika.

Czy istnieją modele tłumaczeniowe, które nie są modelami LLM?

Tak, ponieważ systemy neuronowego tłumaczenia maszynowego są trenowane wyłącznie do tłumaczenia między językami, co czyni je innym rodzajem modelu niż LLM ogólnego przeznaczenia. Niektóre modele w ramach rodziny LLM również działają odmiennie. Większość modeli LLM generuje jeden token na raz. Mercury od Inception Labs to dyfuzyjny model językowy, który generuje bloki tekstu równolegle, o czym piszemy w naszym poście poświęconym dodaniu modeli Gemma i Mercury do platformy.

To, czy lepiej sprawdzi się API do neuronowego tłumaczenia maszynowego, czy model LLM, zależy od danego zadania. API do neuronowego tłumaczenia maszynowego obsługuje model zbudowany do jednego celu, podczas gdy LLM potrafi wykonywać instrukcje i brać pod uwagę szerszy kontekst. Pula silników serwisu MachineTranslation.com obejmuje zarówno tradycyjne silniki tłumaczenia maszynowego, jak i modele LLM, dzięki czemu jedno zapytanie może wykorzystać dowolny z tych rodzajów.

Które modele LLM są najlepsze do tłumaczenia?

To, który model LLM jest najlepszy, zależy od pary językowej oraz kierunku przekładu, dlatego nie wybieramy jednego na poziomie platformy. Pula obejmuje narzędzia ChatGPT, Claude, Gemini, DeepSeek, Qwen, Grok oraz Mistral AI. Każdy model działa równolegle, więc dodanie lub wymiana któregoś z nich nie wydłuża czasu oczekiwania. Oceny jakościowe poszczególnych modeli pochodzą z prowadzonych przez nas testów porównawczych.

W jaki sposób agenci AI korzystają z MachineTranslation.com?

Agenci i asystenci AI mogą wywoływać MachineTranslation.com jako narzędzie. Złącze MCP pozwala subskrybentom płatnych planów korzystać z niego bezpośrednio w Claude, ChatGPT, Copilot lub dowolnym innym asystencie obsługującym niestandardowe integracje. Zapytanie trafia równolegle do tej samej puli 22 modeli i zwraca wersję, co do której większość z nich jest zgodna. Dla asystenta tłumaczenie staje się pojedynczym wywołaniem narzędzia. Porównanie modeli odbywa się po naszej stronie, a w konwersacji widoczny jest wyłącznie ostateczny wynik.

Możesz sprawdzić równoległe działanie modeli oraz pytania agenta na własnym tekście. Wklej zdanie w serwisie MachineTranslation.com, a modele uruchomią się jednocześnie. Agent zada pytanie tylko wtedy, gdy treść zdania pozostawia niejednoznaczności.

Często zadawane pytania