От GPT-3 до GPT-5: как на самом деле изменилось качество ИИ-перевода

GPT-3, GPT-4 и GPT-5 разделяют пять лет и несколько поколений архитектур, но полезный вопрос для перевода заключается не в том, «какая из них умнее». Он более конкретный: что именно изменилось в том, как эти модели работают с теми аспектами языка, которые не переводятся дословно, — с такими явлениями, как идиомы, неоднозначность и языковой регистр? Улучшения происходили в конкретных областях, в определенные моменты, и этот процесс не развивался по прямой линии от старых версий к новым.

Что на самом деле предлагала GPT-3 для перевода

OpenAI выпустила GPT-3 в 2020 году, еще до появления собственной программы тестирования MachineTranslation.com, поэтому приведенные здесь данные не являются проприетарным бенчмарком. Это хорошо задокументированная история, а не результат внутренних тестов. GPT-3 стала первой моделью в своем роде, способной генерировать беглый, естественный текст на нескольких языках без специального обучения под конкретную задачу, что сделало ее настоящей вехой. Однако именно в переводе эта беглость создавала реальный риск: GPT-3 могла выдать уверенное, грамматически правильное предложение на целевом языке, которое при этом было неверным, и ничто в результате не указывало на то, что была допущена ошибка.

Что изменилось с появлением GPT-4

GPT-4 вышла в марте 2023 года, и именно с этого поколения начинаются собственные тесты моделей от MachineTranslation.com. Улучшение было заметным, но неравномерным. При тестировании неоднозначной английской фразы «That's sick» на японском языке GPT-4.1-nano оказалась единственной из шести протестированных моделей, которая свела намеренный двойной смысл фразы к одной интерпретации, тогда как остальные пять сохранили заложенную в оригинале неоднозначность. Идиомы оказались еще более слабым местом: при прогоне испанской идиомы «llevarse el gato al agua» через пять версий GPT одновременно более компактные GPT-4o-mini и GPT-4.1-nano выдали одинаковый буквальный и неверный перевод, полностью упустив идиоматическое значение.

Та же закономерность проявилась и в других случаях. Немецкая идиома «ich verstehe nur Bahnhof», пропущенная через восемь подверсий GPT и Claude, была переведена буквально и некорректно именно моделью GPT-4o-mini, тогда как более компактная и новая модель в том же тесте, GPT-4.1-nano, справилась правильно. Поколение и размер модели не коррелировали между собой каким-либо последовательным образом — закономерность, которую тестирование версий моделей на MachineTranslation.com рассматривает более подробно.

Что изменила GPT-5 для перевода

OpenAI представила GPT-5 как единую систему, которая перенаправляет запросы между быстрой базовой моделью и моделью с более глубоким рассуждением в зависимости от задачи, что стало структурным изменением по сравнению с одномодельной архитектурой GPT-4. В собственном документе OpenAI GPT-5 System Card сообщается, что общий уровень фактических ошибок модели примерно на 45% ниже, чем у GPT-4, и на 80% ниже, чем у GPT-3; это общее повышение надежности проявляется и непосредственно в переводе. Тестирование MachineTranslation.com демонстрирует наиболее явный прогресс там, где модели эпохи GPT-4 испытывали наибольшие трудности: на той же испанской идиоме, с которой не справились GPT-4o-mini и GPT-4.1-nano, обе модели — GPT-5.4-mini и GPT-5.4 — выдали точные идиоматические переводы, слегка отличающиеся формулировками, но в обоих случаях отражающие понимание самой идиомы.

Последний пункт имеет важное значение: отдельный тест стандартной деловой фразы «please confirm receipt of this document» при переводе на немецкий язык показал практически идентичный результат на всех протестированных моделях, включая GPT-4o-mini и модели поколения GPT-5. Разрыв между поколениями характерен именно для образного и неоднозначного языка, а не отражает общую разницу в качестве.

Всегда ли более новое поколение GPT означает лучший перевод?

Нет. При тестировании ивритской идиомы на разных семействах моделей GPT-5.4-mini и GPT-5.4 выдали две разные частичные интерпретации одной и той же фразы, и ни одна из них не была полностью правильной, тогда как более старая несвязанная модель оказалась ближе к истине. Более новая модель не обязательно точнее, а более крупная или свежая модель — не всегда более надежный выбор для конкретного предложения.

Положение GPT-5 в сфере перевода на сегодняшний день

GPT-3 и GPT-4 выведены из ChatGPT; GPT-4 остается доступной только через API от OpenAI для существующих интеграций. Текущее поколение, GPT-5.4 и GPT-5.5, — это то, что MachineTranslation.com использует сегодня, и оно демонстрирует конкурентоспособные результаты по сравнению с актуальными моделями от других провайдеров, хотя и не всегда лучше на каждой языковой паре. Чтобы подробнее узнать, как текущие субверсии GPT сравниваются друг с другом и с такими моделями, как Claude и DeepSeek, ознакомьтесь с прямым сравнительным тестированием субверсий на MachineTranslation.com, которое дает более глубокий анализ, чем общий обзор поколений.

Что это значит для масштабной локализации

Главный вывод для масштабного проекта по локализации заключается не в том, что «GPT-5 превосходит GPT-3». Он заключается в том, что версия модели, а не просто семейство моделей, определяет, будет ли конкретная идиома или неоднозначная фраза переведена правильно. И это справедливо для любой языковой пары, а не только для тех немногих, что представлены здесь. Это имеет первостепенное значение для контента, который изначально опирается на тональность и образный язык, особенно для маркетинговых текстов и пользовательского контента, где одна буквально переведенная идиома может изменить весь смысл публикации или рекламного объявления. При переводе контента на десятки языков проект неизбежно столкнется именно с такими языковыми особенностями в каждом из них. Серия тестирований субверсий и полное сравнительное тестирование моделей на MachineTranslation.com рассматривают этот вопрос более подробно. Подход платформы, при котором текущие модели GPT работают параллельно с более чем 20 другими моделями для каждого перевода, существует именно потому, что история версий ни одной отдельно взятой модели сама по себе не дает достаточных гарантий.

Часто задаваемые вопросы