Qwen срещу Gemini за превод и защо посоката има значение

Имате два модела и списък с езикови двойки и трябва да решите на кой модел да поверите проекта. Повечето сравнения между Qwen и Gemini дават отговор с една обща оценка. Смятам, че една оценка скрива това, което определя резултата, а именно посоката на превода.

Работя върху начина, по който тестваме моделите, работещи в MachineTranslation.com, така че мога да сравня Qwen и Gemini в 98 езикови двойки, оценени върху идентичен текст. Gemini постигна по-висок резултат в 68 от тези двойки, а Qwen в 29, като средната разлика е 0,08 точки от 10. Самите общи резултати не ви показват кой модел да изберете за превод от урду на английски или от английски на хаитянски креолски.

Тази статия показва къде двата модела са с близки резултати и къде всеки от тях води. Тя също така посочва какво все още не мога да ви кажа. Данните ми приключват на 8 август 2026 г., преди Google да обяви Gemini 4 през октомври, така че тя описва по-ранните версии и на двата модела.

Основни изводи

• В 98 езикови двойки, оценени върху идентичен текст (от 12 юли до 8 август 2026 г.), Gemini постигна по-висок резултат в 68 двойки, Qwen в 29, а при една двойка резултатът беше равен.
• Средната разлика е малка, 9,06 за Gemini срещу 8,98 за Qwen, като 60 от 98-те двойки са в рамките на 0,1 точки.
• При превод на английски Qwen води с повече от 0,1 точки в 7 от 27 двойки, а Gemini в 3; останалите 17 са в рамките на 0,1 точки.
• При превод от английски Gemini води с повече от 0,1 точки в 13 от 29 двойки, а Qwen в нито една.
• Данните приключват преди Google да обяви Gemini 4 през октомври 2026 г., така че описват по-ранните версии на Gemini и е необходимо ново тестване, преди някой да ги приеме за актуални.

Qwen или Gemini е по-добър за превод?

Зависи от посоката, тъй като двата модела са с близки резултати, когато целевият език е английски, а Gemini постига по-висок резултат в повечето от останалите двойки. От всички 98 двойки Gemini постигна по-висок резултат в 68. В резултатите на MachineTranslation.com от 12 юли до 8 август 2026 г. Gemini постигна средно 9,06 от 10, а Qwen 8,98, което е средна разлика от 0,08 точки.

Панелът отчита само сегменти, при които ChatGPT, Claude, DeepSeek, Gemini и Qwen са получили реална оценка, така че всеки модел се оценява върху идентичен изходен текст. Всяка езикова двойка съдържа най-малко 30 сегмента. Използвам този панел, защото той елиминира една честа грешка, а именно сравняването на модели върху различен текст.

По брой Gemini води в 68 двойки (69%), Qwen в 29 (30%), а при една двойка резултатът е равен. Броят сам по себе си надценява разликата, тъй като 60 от 98-те двойки са в рамките на 0,1 точки. Следващите раздели разделят резултатите по посока и по разлика.

Кои посоки на превод са по-благоприятни за всеки модел?

Gemini води, когато английският е изходен език или когато нито един от езиците не е английски, а Qwen е наравно с него или води, когато английският е целевият език. При превод от английски Gemini води с повече от 0,1 точки в 13 от 29 двойки, а Qwen в нито една. При превод на английски Qwen води с такава разлика в 7 от 27 двойки, а Gemini в 3.

Qwen е в рамките на 0,1 точки от Gemini или е напред в 24 от 27-те двойки към английски. Усреднено по посока, Qwen води с около 0,04 точки към английски, докато Gemini води с около 0,16 точки от английски и с 0,13 точки между два неанглийски езика.

Не знам защо се появява това разделение и тези данни не могат да ми покажат. Едно обяснение, което бих тествал първо, е съставът на текстовете за обучение зад всеки модел, но не съм провеждал такъв тест. Qwen показва сходна тенденция срещу ChatGPT. При същата извадка нашето сравнение между Qwen и ChatGPT установи, че двата модела са почти равни при превод към английски, като ChatGPT води в 89% от останалите двойки.

Кои езикови двойки показват най-големите разлики?

Най-големите разлики са в полза на Gemini. Моделът води с между 0,51 и 0,95 точки при руски към казахски, английски към хаитянски креолски, английски към тагалог, испански към гръцки и арабски към персийски. Най-големите преднини на Qwen са по-малки, между 0,15 и 0,26 точки, като четири от водещите му пет са двойки към английски.

Не бих разглеждал тези резултати като окончателно класиране. Двете най-големи разлики, руски на казахски и английски на хаитянски креолски, се основават на по-малки извадки от медианната двойка. Английски на тагалог, испански на гръцки и арабски на персийски се основават на по-големи, така че бих се доверил повече на тези три. Бих тествал отново двете разлики с малки извадки, преди да разчитам на тях.

Какво означава разлика от 0,1 точки?

Според мен разлика под 0,1 точки е твърде малка, за да се обяви победител. От 98-те двойки 60 попадат в рамките на тази граница, като всяка двойка се оценява на базата на ограничен брой сегменти. Границата от 0,1 е мой собствен работен праг и не съм провеждал тест за значимост върху тези двойки.

Оценката също така пропуска някои разлики. В нашите тестове с често срещани фрази пуснахме "sorry" на арабски през 22 AI модела. И Gemini, и Qwen избраха разговорното آسف. ChatGPT и комбинираният резултат избраха официалното عذرًا. Всеки модел получи оценка 9,5, така че двете думи се различават по регистър, а оценката не се промени.

Ето защо разглеждам разликата и примерите за регистър заедно. Малка разлика с видима разлика в регистъра изисква човешко решение. Голяма разлика при малка извадка изисква повторно тестване.

Правят ли Qwen и Gemini различни видове грешки?

Да, защото в нашия тест с цитати от Световното първенство през 2026 г. и двата модела направиха поне един избор, който останалите модели не направиха, а оценките едва се промениха. Gemini преведе фраза на Mbappé като "with each game" и предаде цитат на Wirtz дума по дума, докато Qwen даде различен прочит на цитат на Scaloni. Оценките за тези случаи варираха от 9,2 до 9,5.

Подробностите идват от нашия тест с цитати от Световното първенство. При цитата на Mbappé за гледането напред останалите модели запазиха "match", докато Gemini написа "with each game", малко отклонение в регистъра, оценено с 9,4. При цитат на Wirtz Gemini преведе фраза дума по дума и промени смисъла, също с 9,4. При цитата на Scaloni повечето модели се обединиха около един прочит, докато Qwen написа "that is what matters" и получи 9,4. При тактическия цитат на Mbappé Claude и DeepSeek избраха британски футболен английски, докато Gemini, Qwen и останалите избраха американски английски, а Qwen получи 9,2, по-ниско от останалите.

Възприемам това като малки навици. Примерите на Gemini са свързани с регистъра и буквалните фрази

Кой модел на Qwen е най-добър за превод?

Не мога да кажа въз основа на нашите данни, защото оценките на MachineTranslation.com разглеждат Qwen като един модел без етикет за версия. На Alibaba Семейство Qwen3.8 достигна Hugging Face през август 2026 г., така че в момента съществуват няколко версии, а оценките в тази статия не ги разграничават.

Бих искал да разделя това по версии, но все още не мога. Стойността на ниво платформа може да осреднява повече от една версия на Qwen, работила през този времеви прозорец. Ако избирате между версии на Qwen за даден проект, бих ги сравнил върху извадка от вашия собствен текст.

Кои са някои от алтернативите на Gemini за превод?

ChatGPT, Claude, DeepSeek, Qwen, Grok и Mistral AI работят в MachineTranslation.com, и правилната алтернатива зависи от двойката. В нашите резултати от 12 юли до 8 август 2026 г. Qwen е в рамките на 0,1 точки от Gemini или пред него в 24 от 27 двойки към английски. Нашите резултати за френски на Mistral AI показват, че средният му резултат от френски към английски е с 0,40 точки над този на Gemini.

Ако алтернативата ви е ChatGPT, отговорът също се различава според двойката. В нашия публикуван анализ за испански към английски Gemini спечели 31% от сегментите, а ChatGPT спечели 21%. При френски нито един модел не печели и в двете посоки. Тъй като изборът се променя според двойката, MachineTranslation.com не избира една алтернатива. Тя ги пуска заедно.

Моето предложение е да започнете от езиковата двойка и посоката, а след това да проверите коя алтернатива е подходяща.

Как MachineTranslation.com показва къде Qwen и Gemini се разминават?

MachineTranslation.com стартира и двата модела при всеки превод и показва къде моделите съвпадат и къде се разминават. Панелът за съгласуваност отчита колко AI модела са работили върху текста, дела на съгласуваност, колко термина са били оспорени и колко бързо се е оформил консенсусът.