Mesma IA, modelo diferente — e as traduções não podiam ser mais diferentes

Tenho vindo a realizar testes internos sobre algo de que não falamos o suficiente na indústria da tradução: não se diferentes sistemas de IA traduzem de forma diferente, mas sim se diferentes versões da mesma IA traduzem de forma diferente — e em que medida.

Na semana passada, submeti um único idioma espanhol a cinco versões do ChatGPT simultaneamente na plataforma de testes interna do MachineTranslation.com. O que regressou deixou-me paralisado.

Duas versões produziram uma tradução que é, genuinamente, um disparate em inglês. Três versões produziram traduções idiomáticas corretas. E os três corretos não concordaram entre si.

Todos os cinco são ChatGPT. Todos os cinco são da OpenAI. Mesma IA, modelo diferente — e os resultados não podiam ser mais diferentes.

Estou a partilhar isto agora porque acho que importa, não porque tenha respostas claras. Eu não. Mas a observação é suficientemente interessante para ser divulgada.

Índice

• O teste: Uma expressão idiomática espanhola, cinco versões do GPT
• Por que esta expressão idiomática constitui um bom caso de teste
• O que a divisão literal-para-idiomática nos diz sobre como estes modelos foram treinados
• A implicação sobre a qual ninguém parece estar a falar
• Mesmo as traduções corretas discordaram umas das outras
• O que ainda não sei
• Duas questões de investigação que valem a pena ponderar

O teste: Uma expressão idiomática espanhola, cinco versões do GPT

A frase que testei foi llevarse el gato al agua.

Aqui está o que cada versão produziu:

A frase significa alcançar algo difícil contra todas as probabilidades, conseguir uma vitória difícil. Não tem nada a ver com gatos ou água. A tradução literal não é uma tradução. É uma transcrição palavra a palavra de uma frase que o modelo não conseguiu reconhecer como um idioma.

GPT-4o-MINI e GPT-4.1-NANO produziram resultados idênticos. Não semelhante, idêntico. As nossas Análises de Tradução assinalaram isto diretamente: GPT-4.1-nano e GPT-4o-mini partilham traduções idênticas, enfatizando a interpretação literal em vez do significado idiomático.

GPT-4.1-MINI, GPT-5.4-MINI e GPT-5.4 produziram algo reconhecidamente correto — mas não igual entre si.

Porquê este idioma é um bom caso de teste

Quero ser preciso sobre porquê llevarse el gato al agua é uma entrada de teste útil em vez de uma escolhida a dedo.

É um idioma bem estabelecido. Aparece na literatura, no jornalismo e na linguagem quotidiana. Não é obscuro. Qualquer modelo treinado num corpus razoável de texto em espanhol deverá tê-lo encontrado. A questão não é se o modelo viu a frase. A questão é o que faz com isso.

O pior modo de falha na tradução de expressões idiomáticas não é produzir uma má tradução. Está a produzir uma tradução literal que parece aceitável para alguém que não conhece a língua de destino.

To carry the cat to the water é inglês gramaticalmente correto. Está bem formado. Parece algo que poderia significar alguma coisa. Um utilizador que não fala espanhol poderia lê-lo, acenar com a cabeça e seguir em frente — sem nunca saber que o significado original se perdeu totalmente.

Esse é o modo de falha de que me preocupo. Não o erro óbvio. O invisível.

O que nos diz a divisão entre literal e idiomático sobre a forma como estes modelos foram treinados.

O padrão aqui não é aleatório. Os dois modelos que produziram traduções literais (GPT-4o-MINI e GPT-4.1-NANO) são ambos modelos menores, mais leves e otimizados para velocidade e eficiência de custos. Os três modelos que produziram traduções idiomáticas (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) representam uma geração ou escala de parâmetros diferente.

Isto sugere algo que, creio eu, está pouco explorado: a competência idiomática na tradução escala com a capacidade do modelo de formas que não são visíveis em benchmarks gerais.

Os benchmarks gerais de linguagem testam raciocínio, conhecimento, programação, matemática. Normalmente, não testam se um modelo consegue identificar que chover a potes não se refere a condições meteorológicas, ou que llevarse el gato al agua não significa hidratar um gato. Os idiomas situam-se na intersecção do conhecimento cultural, da inferência contextual e do reconhecimento de padrões — e essa intersecção parece exigir um limiar de capacidade do modelo que os modelos menores não ultrapassam consistentemente.

O que não estou a afirmar: que os modelos maiores são sempre melhores tradutores. Não tenho evidências disso como regra geral. O que estou a observar: é que, especificamente para conteúdo idiomático, a diferença entre versões dentro da mesma família foi maior do que eu esperava.

A implicação de que ninguém parece estar a falar sobre isto

A maioria dos utilizadores que utilizam uma ferramenta de tradução por IA não sabe qual versão dessa IA está a utilizar. Abra um produto, selecione um par de idiomas e obtenha um resultado. O encaminhamento do modelo é invisível para eles.

Isto é importante em escala. A MachineTranslation.com processou centenas de milhares de traduções de inglês para espanhol num único período de 90 dias. Se uma porção significativa desses trabalhos tocou conteúdo idiomático (texto de marketing, linguagem jurídica, texto literário, comunicação informal) e a ferramenta que encaminhava esses trabalhos estava a direcionar os utilizadores para um modelo menor sem o seu conhecimento, então levar o gato à água aparecia em resultados reais, em documentos reais, para pessoas reais que confiavam no resultado. A indústria da tradução passou anos a comparar fornecedores de IA. DeepL versus Google.‎

Claude contra ChatGPT. Essas comparações são úteis. Mas dentro de um único fornecedor, a diferença de versão pode ser igualmente significativa — e é uma diferença que a maioria dos quadros de comparação não mede porque não testam ao nível da versão do modelo. Quando alguém diz Uso o ChatGPT para tradução, essa frase não é específica o suficiente

para ser significativa. Qual ChatGPT? Nano? 4o-mini? ‎4.1-mini? 5.4? A resposta altera a saída de formas não triviais, pelo menos para conteúdo idiomático.

Mesmo as traduções corretas discordaram umas das outras

Esta é a parte que acho mais interessante, e ainda não percebi totalmente o que fazer dela.

Os três modelos que produziram traduções idiomáticas deram três diferentes:

• GPT-4.1-MINI: to pull it off successfully
• GPT-5.4-MINI: to get one's way
• GPT-5.4: to come out on top

Todos os três são representações defensáveis em inglês de llevarse el gato al agua‎. Mas não são equivalentes.

Para o conseguir enfatiza a execução contra a dificuldade, você fez algo difícil e funcionou. Conseguir o que se querenfatiza o resultado que pretendia ter sido alcançado, com menos ênfase na dificuldade. ‎“Sair por cima” enfatiza a vitória competitiva, ganhar em relação aos outros.

A expressão idiomática original em espanhol aproxima-se mais da primeira destas. A frase carrega a conotação de superar a resistência, não simplesmente preferir um resultado e vê-lo concretizar-se. Mas conseguir o que se quer e sair por cima não estão errados, são apenas imprecisos em diferentes direções. Isto levanta uma questão que acho genuinamente difícil: quando três modelos produzem

cada um uma tradução idiomática correta, mas distinta, como é que se avalia qual é a melhor? As pontuações BLEU são comparadas com uma tradução de referência — mas quem escreveu a referência e qual destas três teria escolhido?

O nosso Agente de Tradução IA, para seu crédito, fez a pergunta certa antes de se comprometer com qualquer resultado: Qual é o significado pretendido de 'llevarse el gato al agua' neste contexto?‎ Foram oferecidas três opções — atingir um objetivo difícil, pegar algo desnecessário ou envolver-se numa atividade arriscada. Essa pergunta não é decorativa. É o mecanismo pelo qual a ambiguidade contextual é resolvida antes de a tradução ser finalizada.

Mas o ponto mantém-se: três respostas corretas, três diferentes tons de significado. As ferramentas de avaliação de tradução não foram criadas para este tipo de nuance.

O que ainda não sei

Quero ser honesto sobre os limites do que este teste demonstra.

Um idioma, um par de idiomas, um dia de testes internos. Aquilo não é um estudo. É uma observação. Não sei se este padrão (modelos mais pequenos a optarem pelo literal, modelos maiores a atingirem o idiomático) se mantém consistentemente em:

• Outros idiomas espanhóis
• Outros pares de línguas com ricas tradições idiomáticas (árabe, japonês, russo vêm todos à mente)
• Conteúdo não idiomático onde a distinção não se aplica
• Casos limite onde um modelo mais pequeno acerta o idioma e um maior falha

Também não sei se esta é uma propriedade estável destes modelos ou algo que muda com atualizações e afinações. Os fornecedores de modelos não publicam registos de alterações específicos para tradução. Uma versão de modelo que lida corretamente com llevarse el gato al agua hoje pode ser atualizada no próximo mês, e não teríamos como saber.

O que sei: este teste produziu um resultado suficientemente interessante que quero realizar mais, de forma mais sistemática, em mais pares de línguas e tipos de conteúdo. Quando tiver mais para partilhar, fá-lo-ei.

Duas questões de investigação que valem a pena ponderar

Terminarei com as duas questões com que este teste me deixou. Não vou responder-lhes, ainda não tenho os dados para o fazer. Mas acho que são as perguntas certas a fazer.

Primeiro: a que limiar de parâmetros a competência idiomática se torna fiável?

O salto de GPT-4o-MINI e GPT-4.1-NANO (ambos literais) para GPT-4.1-MINI (idiomático) sugere que existe um limiar algures na gama de parâmetros entre esses tamanhos de modelo onde o reconhecimento de expressões idiomáticas é ativado. É consistente? Aplica-se a expressões idiomáticas em todas as línguas, ou depende de quão bem representada uma língua está nos dados de treino? Não sei. Mas saber seria útil para qualquer pessoa que estivesse a criar fluxos de trabalho de tradução.

Segundo: qual é o custo da opacidade da versão do modelo para os utilizadores em escala?

Se um utilizador processar 1.000 documentos por mês através de uma ferramenta que não divulga qual a versão do modelo que está a ser utilizada (e alguns desses documentos contêm conteúdo idiomático), com que frequência está a falha literal a ocorrer invisivelmente? Como é que eles saberiam? Qual é o custo, em termos reais, de nunca descobrirmos?

Penso que esta é uma questão mais importante do que a maioria das comparações sobre qual IA é melhor para tradução atualmente a circular. A resposta não é use o maior modelo. A resposta pode ser: saiba o que está a usar, execute os seus próprios testes no seu próprio conteúdo e não assuma que o nome de um fornecedor é uma garantia de comportamento consistente em toda a sua gama de modelos .

Isso é, pelo menos, o que retiro deste teste.

Questões de investigação

1. O tamanho do modelo prevê de forma fiável a qualidade da tradução idiomática?

Com base neste único teste: modelos mais pequenos e otimizados para eficiência, dentro da mesma família de IA, optaram pela tradução literal de um idioma espanhol bem estabelecido, enquanto versões maiores/mais recentes do mesmo modelo produziram traduções idiomáticas corretas. Se isto se verifica em todas as categorias de expressões idiomáticas e pares de línguas é a próxima questão. Farei mais testes.

2. Porque é que três traduções idiomáticas corretas produziram três resultados significativamente diferentes?

GPT-4.1-MINI, GPT-5.4-MINI e GPT-5.4 traduziram llevarse el gato al agua idiomaticamente — mas para diferentes expressões em inglês com conotações subtilmente diferentes. Isto sugere que a qualidade da tradução idiomática tem pelo menos duas dimensões: se o modelo reconhece o idioma em si, e qual expressão equivalente seleciona das opções disponíveis na língua de destino. As métricas padrão de qualidade de tradução não separam claramente estas duas dimensões. Penso que deveriam.

Esta publicação baseia-se em testes internos na plataforma de desenvolvimento da MachineTranslation.com. A versão multimodelo de testes apresentada aqui ainda não está disponível publicamente. Estou a partilhar a descoberta porque acho que a observação é útil independentemente de onde executa as suas traduções.