Ад GPT-3 да GPT-5: як насамрэч змянілася якасць перакладу ШІ

GPT-3, GPT-4 і GPT-5 падзяляюць пяць гадоў і некалькі пакаленняў архітэктуры, але карыснае пытанне для перакладу палягае не ў тым, «якая з іх самая разумная». Яно больш канкрэтнае: што менавіта змянілася ў тым, як гэтыя мадэлі працуюць з часткамі мовы, якія не перакладаюцца слова ў слова, такімі як ідыёмы, неадназначнасць і рэгістр? Паляпшэнне адбывалася ў пэўных аспектах, у пэўныя моманты, і яно не ішло па прамой лініі ад старэйшага да навейшага.

Што насамрэч прапанавала GPT-3 для перакладу

OpenAI выпусціла GPT-3 у 2020 годзе, яшчэ да з'яўлення ўласнай праграмы тэсціравання MachineTranslation.com, таму тут няма ніякіх прыватных бенчмаркаў. Гэта добра задакументаваная гісторыя, а не вынік унутранага тэсціравання. GPT-3 была першай мадэллю свайго кшталту, здольнай ствараць натуральны, падобны да чалавечага тэкст на некалькіх мовах без спецыялізаванага навучання пад канкрэтныя задачы, што зрабіла яе сапраўднай вяхой. Аднак непасрэдна для перакладу гэтая ж плаўнасць стварала рэальную рызыку: GPT-3 магла стварыць упэўнены, сінтаксічна правільны сказ на мэтавай мове, які пры гэтым быў памылковым, і нішто ў самім тэксце не сігналізавала пра тое, што адбылася памылка.

Што змянілася са з'яўленнем GPT-4

GPT-4 стартавала ў сакавіку 2023 года, і менавіта з гэтага пакалення пачынаецца ўласнае тэсціраванне мадэлей ад MachineTranslation.com. Паляпшэнне было рэальным, але нераўнамерным. Пры тэсціраванні неадназначнай англійскай фразы «That's sick» у перакладзе на японскую мову GPT-4.1-nano стала адзінай з шасці пратэставаных мадэлей, якая звёў наўмыснае падвойнае значэнне фразы да адной інтэрпрэтацыі, тады як астатнія пяць захавалі неадназначнасць, закладзеную ў арыгінале. Ідыёмы былі яшчэ больш істотнай слабасцю: пры прагоне іспанскай ідыёмы «llevarse el gato al agua» адначасова праз пяць версій GPT меншыя GPT-4o-mini і GPT-4.1-nano абедзве выдалі аднолькавы літаральны, няправільны пераклад, цалкам упусціўшы ідыёму.

Тая ж заканамернасць праявілася і ў іншых выпадках. Нямецкая ідыёма «ich verstehe nur Bahnhof», прапушчаная праз восем субверсій GPT і Claude, была перакладзена даслоўна і няправільна менавіта мадэллю GPT-4o-mini, у той час як меншая і навейшая мадэль у тым жа тэсце, GPT-4.1-nano, пераклала яе правільна. Пакаленне і памер мадэлі не мелі паслядоўнай карэляцыі — гэтую заканамернасць тэсціраванне версій мадэлей на MachineTranslation.com разглядае больш падрабязна.

Што GPT-5 змяніла для перакладу

OpenAI прадставіла GPT-5 як адзіную сістэму, якая перанакіроўвае запыты паміж хуткай базавай мадэллю і мадэллю для паглыбленага разважання ў залежнасці ад задачы, што стала структурнай зменай у параўнанні з аднамадэльнай канструкцыяй GPT-4. Уласны дакумент GPT-5 System Card ад OpenAI паведамляе, што агульны ўзровень фактычных памылак у мадэлі прыкладна на 45% ніжэйшы, чым у GPT-4, і на 80% ніжэйшы, чым у GPT-3; гэта агульнае павышэнне надзейнасці праяўляецца і непасрэдна ў перакладзе. Тэсціраванне MachineTranslation.com паказвае найбольш выразныя паляпшэнні там, дзе мадэлі эпохі GPT-4 сутыкаліся з найбольшымі цяжкасцямі: на той самай іспанскай ідыёме, на якой памыліліся GPT-4o-mini і GPT-4.1-nano, і GPT-5.4-mini, і GPT-5.4 прыйшлі да правільных, ідыяматычных перакладаў — кожная сфармулявала яе крыху інакш, але абедзве зразумелі саму ідыёму.

Гэты апошні пункт мае істотнае значэнне: асобны тэст стандартнай дзелавой фразы «please confirm receipt of this document» пры перакладзе на нямецкую мову паказаў практычна ідэнтычны вынік ва ўсіх пратэставаных мадэлях, уключаючы GPT-4o-mini і мадэлі пакалення GPT-5. Розніца паміж пакаленнямі тычыцца выключна вобразнай і неадназначнай мовы, а не агульнай якасці перакладу.

Ці заўсёды навейшае пакаленне GPT азначае лепшы пераклад?

Не. Пры тэставанні іўрыцкай ідыёмы на розных сямействах мадэляў GPT-5.4-mini і GPT-5.4 прапанавалі дзве розныя, частковыя інтэрпрэтацыі адной і той жа фразы, ніводная з якіх не была цалкам правільнай, у той час як старэйшая, не звязаная з імі мадэль падышла бліжэй. Навейшая мадэль не азначае аўтаматычна больш дакладную, а большая ці больш свежая мадэль не з'яўляецца аўтаматычна больш бяспечным выбарам для канкрэтнага сказа.

Што ўяўляе сабой GPT-5 для перакладу сёння

І GPT-3, і GPT-4 выведзеныя з эксплуатацыі ў ChatGPT; GPT-4 застаецца даступным толькі праз API ад OpenAI для існуючых інтэграцый. Бягучае пакаленне, GPT-5.4 і GPT-5.5, — гэта тое, што сёння выкарыстоўвае MachineTranslation.com, і яно дэманструе канкурэнтаздольныя вынікі ў параўнанні з сучаснымі мадэлямі ад іншых пастаўшчыкоў, хоць і не ва ўсіх моўных парах аднолькава лепшыя. Каб больш падрабязна даведацца, як бягучыя субверсіі GPT параўноўваюцца паміж сабой і з такімі мадэлямі, як Claude і DeepSeek, глядзіце параўнальнае тэставанне субверсій на MachineTranslation.com, якое паглыбляецца далей, чым агляд цэлых пакаленняў.

Што гэта азначае, калі вы займаецеся маштабнай лакалізацыяй

Самая важная выснова для буйной праграмы лакалізацыі — гэта не «GPT-5 перамагае GPT-3». Справа ў тым, што менавіта версія мадэлі, а не толькі сямейства мадэляў, вызначае, ці будзе правільна перакладзена канкрэтная ідыёма або неадназначная фраза, і гэта справядліва для любой моўнай пары, а не толькі для тых нямногіх, што паказаны тут. Гэта найбольш важна для кантэнту, які ў першую чаргу абапіраецца на танальнасць і вобразную мову, асабліва маркетынгавых тэкстаў і кантэнту, створанага карыстальнікамі, дзе адна літаральна перакладзеная ідыёма можа змяніць увесь сэнс публікацыі або рэкламы. Праграма, якая перакладае кантэнт на дзесяткі моў, сутыкнецца з такімі моўнымі адметнасцямі ў кожнай з іх. Серыя тэстаў субверсій і поўнае параўнальнае тэставанне мадэляў ад MachineTranslation.com разглядаюць гэта больш падрабязна. Падыход платформы — запускаць актуальныя мадэлі GPT разам з больш чым 20 іншымі для кожнага перакладу — існуе менавіта таму, што гісторыя версій ніводнай асобнай мадэлі сама па сабе не з'яўляецца дастаткова надзейнай гарантыяй.

Часта задаваныя пытанні