LLM проти AI-агента для перекладу та що кожен із них може пропустити

Якщо ви обираєте між LLM та AI agent для перекладу, сама назва мало що говорить про те, що може піти не так. Один виклик LLM може видати впевнену неправильну відповідь без жодного попередження. Агент може поставити правильне запитання, але кожен його крок додає час і створює ще одне місце для збою.

Три різні речі часто мають спільну назву "AI agent": один виклик LLM, робочий процес, що запускає багато моделей одночасно, та агент, який планує і діє в циклі. Ми запускаємо всі три на MachineTranslation.com. Відмінності нижче ґрунтуються на їх використанні в продакшені.

Ключові висновки

• Один виклик LLM повертає одну відповідь без жодного сигналу про те, чи є ця відповідь правильною.
• AI agent самостійно обирає свої кроки, тому кожен додатковий крок додає час і створює ще одне місце для збою.
• Консенсус багатьох моделей є робочим процесом із фіксованим шляхом, і запуск 22 моделей паралельно змушує очікування залежати від найповільнішої моделі, тоді як їх послідовний запуск дорівнював би сумі всіх 22.
• В одному прикладі запуску п'ять моделей переклали фразу з чотирьох слів і повернули результат за 751 мілісекунду.
• Консенсус не може виявити вибір, який кожна модель робить однаково, наприклад формальну японську для "good morning", тому MachineTranslation.com додає AI Translation Agent, який запитує у користувача відсутній контекст.

У чому різниця між LLM та AI agent у перекладі?

LLM є моделлю. Ви надсилаєте текст і отримуєте текст у відповідь, за один виклик. AI agent є системою, побудованою навколо LLM. Інженерна команда Anthropic розділяє ці два поняття за тим, хто визначає кроки. У робочому процесі код задає кроки заздалегідь. В агенті LLM самостійно обирає власні кроки та інструменти.

Це дає три форми для перекладу. Один виклик LLM є найпростішим, і він повертає одну відповідь без жодного сигналу про те, чи є ця відповідь правильною. Робочий процес, такий як запуск багатьох моделей одночасно та порівняння результатів, слідує фіксованим шляхом. Агент працює в циклі. Він вирішує, що робити, робить це і перевіряє результат. Він також може поставити запитання користувачеві, перш ніж продовжити.

Один виклик LLM є одним кроком. Робочий процес консенсусу надсилає один і той самий текст багатьом моделям одночасно, а потім порівнює результати. Агент виконує цикл планування, дії та перевірки, і може зупинитися, щоб поставити запитання користувачеві.

Що AI-агенти додають до перекладу і яка їхня ціна?

Агент додає рішення, які не може прийняти один виклик моделі. Він може запитати, чи має речення бути офіційним або невимушеним. Він також може знайти термін і перевірити власну чернетку. Кожна з цих дій є додатковим кроком, і кожен крок додає час та ще одне потенційне місце для збою.

Рекомендація від Anthropic полягає в тому, щоб починати з найпростішої конструкції, яка працює. Використовуйте workflow для чітко визначеного завдання, і використовуйте агента, коли завдання потребує гнучких рішень. Ми дотримуємося того ж правила. AI Translation Agent є окремим рівнем, який підключається лише тоді, коли речення залишає щось невизначеним, наприклад, наскільки офіційним має бути текст.

Де тут місце для консенсусу кількох моделей?

Консенсус кількох моделей є workflow із фіксованим шляхом. Один і той самий текст надходить до кожної моделі одночасно. Результати порівнюються, і повертається версія, з якою погоджується більшість моделей. Anthropic називає практику виконання кількох спроб одночасно для підвищення впевненості паралелізацією.

Інженерна проблема полягає в часі. Якби 22 моделі працювали одна за одною, очікування дорівнювало б сумі 22 викликів. Вони працюють паралельно, тому очікування визначається найповільнішою моделлю в пулі, як ми описуємо в нашому посібнику з отримання перевірених перекладів у Claude або ChatGPT. В одному прикладі запуску п'ять моделей переклали фразу з чотирьох слів і повернули результат за 751 мілісекунду. Довший текст вимагає більше часу, і тут діє те саме правило.

Ми протестували розміри пулу та зупинилися на 22. За меншої кількості моделей сигнал узгодженості слабшає. За більшої, починає зростати затримка. Користувач бачить один результат. Робота, яка зробила його швидким, відбулася ще до кліку.

Що пропускає консенсус із того, що може помітити агент?

Консенсус може бачити лише розбіжності між моделями, тому він не може помітити вибір, який кожна модель робить однаково. У наших тестах поширених фраз усі сім показаних моделей переклали "good morning" японською мовою за допомогою офіційного おはようございます, мовчазне рішення щодо ввічливості, про яке користувача ніхто не запитав.

Французьке "Je t'aime" пішло за тією ж схемою. Моделі зійшлися на одному перекладі, але фраза може виражати романтичне, платонічне чи сімейне кохання, і прямий переклад не вказує на те, яке саме. Етап порівняння не має чого порівнювати, коли кожна модель відповідає однаково.

Ця прогалина є причиною, чому AI Translation Agent працює як окремий рівень. Він запитує про регістр, аудиторію та тон лише тоді, коли текст залишає їх невизначеними. Консенсус виявляє моделі, які не погоджуються між собою. Агент помічає те, що всі вони припускають за замовчуванням.

Які існують різні типи AI-агентів і які з них мають значення для перекладу?

Підручники зі штучного інтелекту класифікують агентів за тим, як вони вирішують, що робити. Цей класичний список простягається від простих рефлекторних агентів, які реагують на поточні вхідні дані, через агентів на основі цілей, які планують досягнення результату, до агентів, що навчаються й удосконалюються завдяки зворотному зв'язку.

З погляду системної архітектури, кожен крок угору цим списком додає стан і цикли, які потрібно підтримувати. Для перекладу найбільш вигідним є рівень агентів на основі цілей, оскільки переклад часто залежить від контексту, якого поточне речення не містить. Наш AI Translation Agent знаходиться саме там. Він працює над перекладом, що відповідає контексту, а його головним інструментом є запитання до користувача.

Чи існують моделі перекладу, які не є LLM?

Так, оскільки системи нейронного машинного перекладу навчаються лише перекладати між мовами, що робить їх іншим типом моделей, ніж універсальні LLM. Деякі моделі в родині LLM також працюють по-іншому. Більшість LLM генерують по одному токену за раз. Mercury від Inception Labs є дифузійною мовною моделлю, яка генерує блоки тексту паралельно, про що ми розповідаємо в нашому дописі про додавання Gemma та Mercury на платформу.

Те, що підходить краще, API нейронного перекладу чи LLM, залежить від завдання. API нейронного перекладу обслуговує модель, створену для одного завдання, тоді як LLM може виконувати інструкції та використовувати більше контексту. Пул рушіїв MachineTranslation.com включає як традиційні рушії машинного перекладу, так і LLM, тому один запит може використовувати будь-який із цих типів.

Які LLM є найсильнішими для перекладу?

Найсильніша LLM залежить від мовної пари та напрямку, тому ми не обираємо якусь одну на рівні платформи. Пул включає ChatGPT, Claude, Gemini, DeepSeek, Qwen, Grok та Mistral AI. Кожна модель працює паралельно, тому додавання або заміна моделі не збільшує час очікування. Результати щодо якості для конкретних моделей отримано з нашого тестування порівняння моделей.

Як агенти ШІ використовують MachineTranslation.com?

Агенти ШІ та асистенти можуть викликати MachineTranslation.com як інструмент. Конектор MCP дозволяє передплатникам платних тарифів використовувати його з Claude, ChatGPT, Copilot або будь-якого асистента, який підтримує кастомні конектори. Запит проходить через той самий пул із 22 моделей паралельно та повертає версію, з якою погоджується більшість із них. Для асистента переклад стає одним викликом інструменту. Порівняння моделей залишається на нашому боці, а в розмові відображається лише результат.

Ви можете спостерігати за паралельним запуском і запитаннями агента на власному тексті. Вставте речення в MachineTranslation.com, і моделі запустяться одночасно. Агент запитує лише тоді, коли речення залишає щось відкритим.

Поширені запитання