Qwen vs ChatGPT: Qual modelo de IA traduz melhor?

A geração atual do ChatGPT e o Qwen fazem parte do conjunto de modelos que o MachineTranslation.com executa em cada tradução, e não dois concorrentes externos sendo avaliados em relação à própria plataforma. Ao processar o mesmo texto em ambos nos mesmos segmentos, o ChatGPT vence na maior parte dos pares de idiomas no geral. Dividindo os resultados por direção, o cenário se estreita consideravelmente em um ponto específico: a tradução para o inglês, onde os dois estão quase empatados.

Existe alguma IA melhor que o ChatGPT para tradução?

O interesse geral por alternativas ao ChatGPT aumentou à medida que os modelos concorrentes melhoraram, embora os motivos variem amplamente conforme o caso de uso e não haja uma explicação única. Especificamente para tradução, a pergunta mais útil é qual modelo realmente apresenta um desempenho melhor em um determinado par de idiomas — uma questão testável, e não uma questão de opinião.

No tráfego dos últimos 28 dias do MachineTranslation.com, ambos os modelos traduziram textos de origem idênticos em 98 pares de idiomas. O ChatGPT obteve pontuações mais altas em 77 desses pares; o Qwen obteve pontuações mais altas em 21. A média ponderada entre os resultados correspondentes coloca o ChatGPT em 9.10 de 10 e o Qwen em 8.98, uma diferença real, mas modesta na média, que esconde uma divisão muito mais acentuada quando a direção é levada em consideração.

Por que a diferença quase desaparece ao traduzir para o inglês?

Os dados mostram onde a divisão acontece, não o porquê. O que está claro é que a competitividade do Qwen não é distribuída de maneira uniforme. De 27 pares em que o idioma de destino é o inglês, o Qwen vence 13, praticamente um cara ou coroa. Dos 71 pares restantes, tanto traduzindo a partir do inglês quanto entre dois idiomas que não são o inglês, o ChatGPT vence 63, ou 89% deles. Uma equipe que presuma que o desempenho do Qwen para o inglês se estende para traduções a partir do inglês ou entre pares de outros idiomas estaria tirando a lição errada da direção errada.

O Qwen é uma empresa chinesa e isso importa para a tradução?

O Qwen é desenvolvido pela Alibaba Cloud, sediada na China. Por si só, isso não muda a qualidade com que o modelo traduz uma determinada frase; os dados acima refletem a qualidade real dos resultados, independentemente de onde o modelo foi desenvolvido. Onde isso pode importar é no tratamento de dados: empresas que traduzem conteúdo regulamentado ou confidencial (contratos, prontuários médicos, informações pessoais) devem tratar a questão de onde um provedor de IA processa e armazena esse conteúdo como um item real de due diligence, separado da qualidade da tradução em si. Isso se aplica a qualquer provedor de IA, não apenas ao Qwen, e é parte do motivo pelo qual o MachineTranslation.com publica diretamente suas próprias práticas de tratamento de dados e segurança, em vez de deixar a dúvida no ar.

Algum dos modelos é mais confiável para tradução jurídica e empresarial?

Não de forma consistente, e a divergência nem sempre se resume a qual modelo obtém a pontuação mais alta. Os testes do MachineTranslation.com com a linguagem de contratos reais identificaram dois casos distintos que vale a pena conhecer antes de confiar em qualquer um dos modelos para textos jurídicos. A linguagem idiomática às vezes vai na direção oposta: um teste direto separado constatou que o ChatGPT traduziu uma expressão idiomática alemã de forma literal e incorreta, enquanto o Qwen encontrou o significado idiomático correto — um lembrete de que a liderança geral de um modelo nos dados agregados não se sustenta frase por frase.

Nenhum dos modelos vence de forma consistente nestes três casos: a pontuação agregada de um único modelo não prevê seu comportamento em nenhum termo ou frase específica. É também por isso que textos jurídicos e contratuais se beneficiam de uma etapa de verificação humana, independentemente de qual modelo gerou o primeiro rascunho.

E quanto à cobertura de idiomas?

Nem o ChatGPT nem o Qwen publicam uma lista verificada e confirmada de forma independente de pares de idiomas em que a qualidade da tradução cai. Ambos são modelos de uso geral com amplo treinamento multilíngue, o que é uma afirmação diferente de um desempenho de tradução medido em um conjunto específico de idiomas. O MachineTranslation.com testa e pontua a qualidade da tradução diretamente em mais de 330 idiomas, em vez de depender da capacidade linguística geral de um modelo como um substituto para avaliar o quão bem ele realmente traduz.

O que você não deve colar no ChatGPT ou no Qwen para tradução corporativa?

Nem o ChatGPT nem o Qwen foram criados como plataformas de tradução dedicadas, e colar conteúdos comerciais sensíveis diretamente em uma interface de chat de uso geral traz as mesmas dúvidas sobre tratamento de dados que colá-los em qualquer outra ferramenta de IA de consumo: onde a entrada é processada, se ela é retida e quem tem acesso a ela. Contratos, prontuários médicos, documentos de imigração e demonstrações financeiras são exatamente o tipo de conteúdo em relação ao qual vale a pena responder a essa pergunta antes de traduzir, não depois. Esse é um motivo real pelo qual uma plataforma de tradução dedicada, com práticas de tratamento de dados publicadas e verificáveis, é uma proposta diferente de uma interface de chat de uso geral, independentemente de qual modelo esteja por trás de qualquer uma delas.

Como o MachineTranslation.com realmente usa ambos os modelos

O MachineTranslation.com executa o ChatGPT, o Qwen e mais de 20 outros modelos de IA em cada tradução e, em seguida, apresenta a versão com a qual esses modelos mais concordam. Considerando a forma nítida com que o desempenho do Qwen e do ChatGPT diverge dependendo da direção do idioma, escolher um único modelo como padrão significaria errar em uma parcela previsível de pares de idiomas. O mesmo padrão dependente da direção aparece na comparação Qwen vs DeepSeek do MachineTranslation.com. Para ter uma visão completa de como os modelos atuais são testados uns contra os outros, consulte a avaliação comparativa completa de modelos do MachineTranslation.com.

Perguntas frequentes