La misma IA, modelo diferente — y las traducciones no podrían ser más distintas

He estado realizando pruebas internas sobre algo de lo que no hablamos lo suficiente en la industria de la traducción: no si diferentes sistemas de IA traducen de forma diferente, sino si diferentes versiones de la misma IA traducen de forma diferente, y en qué medida.

La semana pasada, introduje un modismo español en cinco versiones de ChatGPT simultáneamente en la plataforma de pruebas internas de MachineTranslation.com. Lo que salió me dejó paralizado.

Dos versiones produjeron una traducción que, sinceramente, no tiene sentido en inglés. Tres versiones produjeron traducciones idiomáticas correctas. Y los tres correctos no se pusieron de acuerdo entre sí.

Los cinco son ChatGPT. Todos los cinco son de OpenAI. La misma IA, un modelo diferente — y los resultados no podrían ser más distintos.

Lo comparto ahora porque creo que importa, no porque tenga respuestas claras. Yo no. Pero la observación es lo suficientemente interesante como para sacarla al mundo.

Índice

• La prueba: Un modismo español, cinco versiones de GPT
• Por qué este modismo es un buen caso de prueba
• Lo que la división literal-idiomática nos dice sobre cómo se entrenaron estos modelos
• La implicación de la que nadie parece hablar
• Incluso las traducciones correctas no estaban de acuerdo entre sí
• Lo que aún no sé
• Dos preguntas de investigación que merecen ser consideradas

La prueba: Un modismo español, cinco versiones de GPT

La frase que probé fue llevarse el gato al agua.

Aquí está lo que produjo cada versión:

La frase significa lograr algo difícil contra todo pronóstico, conseguir una victoria difícil. No tiene nada que ver con gatos ni con agua. La traducción literal no es una traducción. Es una transcripción palabra por palabra de una frase que el modelo no reconoció como modismo.

GPT-4o-MINI y GPT-4.1-NANO produjeron resultados idénticos. No similar, idéntico. Nuestras Translation Insights marcaron esto directamente: GPT-4.1-nano y GPT-4o-mini comparten traducciones idénticas, enfatizando la interpretación literal sobre el significado idiomático.

GPT-4.1-MINI, GPT-5.4-MINI y GPT-5.4 produjeron algo reconociblemente correcto, pero no lo mismo entre sí.

Por qué este modismo es un buen caso de prueba

Quiero ser preciso sobre por qué llevarse el gato al agua es una entrada de prueba útil en lugar de una elegida arbitrariamente.

Es un modismo bien establecido. Aparece en la literatura, el periodismo y el habla cotidiana. No es oscuro. Cualquier modelo entrenado con un corpus de texto en español razonable debería haberlo encontrado. La pregunta no es si el modelo ha visto la frase. La pregunta es qué hace con él.

El peor modo de fallo en la traducción de modismos no es producir una mala traducción. Está produciendo una traducción literal que parece aceptable para alguien que no conoce el idioma de destino.

To carry the cat to the water es inglés gramaticalmente correcto. Está bien formado. Suena como algo que podría significar algo. Un usuario que no hable español podría leerlo, asentir y seguir adelante — sin saber que el significado original se perdió por completo.

Ese es el modo de fallo que me preocupa. No es el error obvio. El invisible.

Lo que la división literal-idiomática nos dice sobre cómo se entrenaron estos modelos

El patrón aquí no es aleatorio. Los dos modelos que produjeron traducciones literales (GPT-4o-MINI y GPT-4.1-NANO) son modelos más pequeños y ligeros, optimizados para la velocidad y la eficiencia de costes. Los tres modelos que produjeron traducciones idiomáticas (GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4) representan una generación o escala de parámetros diferente.

Esto sugiere algo que creo que está poco explorado: la competencia idiomática en la traducción escala con la capacidad del modelo de maneras que no son visibles en los benchmarks generales.

Los benchmarks generales de lenguaje prueban razonamiento, conocimiento, codificación, matemáticas. Normalmente no prueban si un modelo puede identificar que llueve a cántaros no trata sobre condiciones meteorológicas, o que llevarse el gato al agua no trata sobre hidratar a un gato. Los modismos se encuentran en la intersección del conocimiento cultural, la inferencia contextual y el reconocimiento de patrones, y esa intersección parece requerir un umbral de capacidad del modelo que los modelos más pequeños no superan de forma consistente.

Lo que no estoy afirmando: que los modelos más grandes sean siempre mejores traductores. No tengo pruebas de que esa sea una regla general. Lo que estoy observando: que para contenido idiomático específicamente, la brecha de versiones dentro de la familia fue mayor de lo que esperaba.

La implicación de que nadie parece estar hablando de ello

La mayoría de los usuarios que utilizan una herramienta de traducción de IA no saben qué versión de esa IA están utilizando. Abren un producto, seleccionan un par de idiomas y obtienen un resultado. El enrutamiento del modelo es invisible para ellos.

Esto importa a gran escala. MachineTranslation.com procesó cientos de miles de trabajos de traducción de inglés a español en un único período de 90 días. Si una parte importante de esos trabajos tocaba contenido idiomático (textos de marketing, lenguaje legal, texto literario, comunicación informal) y la herramienta que dirigía esos trabajos estaba enviando a los usuarios a un modelo más pequeño sin su conocimiento, entonces llevar el gato al agua aparecía en resultados reales, en documentos reales, para personas reales que confiaban en el resultado. La industria de la traducción ha pasado años comparando proveedores de IA. DeepL frente a

Google.‎ Claude contra ChatGPT. Esas comparaciones son útiles. Pero dentro de un único proveedor, la brecha de versiones puede ser igual de significativa — y es una brecha que la mayoría de los marcos de comparación no miden porque no prueban a nivel de versión del modelo. Cuando alguien dice Uso ChatGPT para traducir, esa frase no es lo suficientemente

específica como para tener sentido. ‎¿Qué ChatGPT? Nano? 4o-mini? ‎4.1-mini? 5.4? La respuesta cambia la salida de maneras que no son triviales, al menos para el contenido idiomático.

Incluso las traducciones correctas no estaban de acuerdo entre sí

Esta es la parte que me parece más interesante, y aún no he resuelto del todo qué pensar al respecto.

Los tres modelos que produjeron traducciones idiomáticas dieron tres diferentes:

• GPT-4.1-MINI: to pull it off successfully
• GPT-5.4-MINI: to get one's way
• GPT-5.4: to come out on top

Las tres son representaciones defendibles en inglés de llevarse el gato al agua‎. Pero no son equivalentes.

Sacarlo adelante enfatiza la ejecución frente a la dificultad, tú hiciste algo difícil y funcionó. Conseguir lo que uno quiereenfatiza el resultado que deseabas que se lograra, con menos énfasis en la dificultad. ‎«Salir victorioso» enfatiza la victoria competitiva, ganar en relación con otros.

El modismo español original se acerca más al primero de estos. La frase tiene la connotación de superar la resistencia, no simplemente preferir un resultado y que este se materialice. Pero salirse con la suya y salir victorioso no están mal, simplemente son imprecisos en diferentes direcciones. Esto plantea una pregunta que me resulta genuinamente difícil: cuando tres modelos

producen cada uno una traducción idiomática correcta pero distinta, ¿cómo se evalúa cuál es la mejor? Las puntuaciones BLEU se comparan con una traducción de referencia, pero ¿quién escribió la referencia y cuál de estas tres habría elegido?

Nuestro Agente de Traducción IA, para su crédito, hizo la pregunta correcta antes de comprometerse con cualquier resultado: ‎¿Cuál es el significado previsto de 'llevarse el gato al agua' en este contexto? Se ofrecieron tres opciones: alcanzar un objetivo difícil, tomar algo innecesario o participar en una actividad arriesgada. Esa pregunta no es decorativa. Es el mecanismo por el cual la ambigüedad contextual se resuelve antes de finalizar la traducción.

Pero el punto es válido: tres respuestas correctas, tres matices de significado diferentes. Las herramientas de evaluación de la traducción no están diseñadas para este tipo de matices.

Lo que aún no sé

Quiero ser honesto sobre los límites de lo que muestra esta prueba.

Un modismo, un par de idiomas, un día de pruebas internas. Eso no es un estudio. Es una observación. No sé si este patrón (modelos más pequeños que por defecto son literales, modelos más grandes que logran ser idiomáticos) se mantiene consistentemente en:

• Otros modismos españoles
• Otros pares de idiomas con ricas tradiciones idiomáticas (árabe, japonés, ruso vienen a la mente)
• Contenido no idiomático donde la distinción no aplica
• Casos límite donde un modelo más pequeño acierta el modismo y uno más grande falla

Tampoco sé si esta es una propiedad estable de estos modelos o algo que cambia con las actualizaciones y el ajuste fino. Los proveedores de modelos no publican registros de cambios específicos de traducción. Una versión de modelo que maneja llevarse el gato al agua correctamente hoy podría actualizarse el próximo mes, y no tendríamos forma de saberlo.

Lo que sí sé: esta prueba produjo un resultado lo suficientemente interesante como para querer realizar más, de forma más sistemática, en más pares de idiomas y tipos de contenido. Cuando tenga más que compartir, lo haré.

Dos preguntas de investigación que merecen ser consideradas

Cerraré con las dos preguntas que me dejó este examen. No voy a responderles, aún no tengo los datos para hacerlo. Pero creo que son las preguntas correctas que hay que hacerse.

Primero: ¿en qué umbral de parámetros la competencia idiomática se vuelve fiable? El salto de GPT-4o-MINI

y GPT-4.1-NANO (ambos literales) a GPT-4.1-MINI (idiomático) sugiere que hay un umbral en algún lugar en el rango de parámetros entre esos tamaños de modelo donde el reconocimiento de modismos se activa. ‎¿Es coherente? ‎¿Se aplica a los modismos en todos los idiomas, o depende de lo bien representada que esté una lengua en los datos de entrenamiento? No lo sé. Pero saber sería útil para cualquiera que esté creando flujos de trabajo de traducción.

Segundo: ¿cuánto cuesta a los usuarios la opacidad de la versión del modelo a escala?

Si un usuario envía 1000 documentos al mes a través de una herramienta que no revela qué versión del modelo se está utilizando (y algunos de esos documentos contienen contenido idiomático), ¿con qué frecuencia se produce el fallo literal de forma invisible? ‎¿Cómo lo sabrían? ¿Cuál es el coste, en términos reales, de no averiguarlo nunca?

Creo que esta es una pregunta más importante que la mayoría de las comparaciones de qué IA es mejor para la traducción que circulan actualmente.‎ La respuesta no es usa el modelo más grande. La respuesta podría ser: saber lo que estás usando, ejecuta tus propias pruebas en tu propio contenido y no asumas que el nombre de un proveedor es una garantía de comportamiento consistente en su gama de modelos .

Eso es, al menos, lo que saco de esta prueba.

Preguntas de investigación

1. ‎¿El tamaño del modelo predice de forma fiable la calidad de la traducción idiomática?

Basado en esta única prueba: los modelos más pequeños y optimizados para la eficiencia dentro de la misma familia de IA recurrieron a la traducción literal de una expresión idiomática española bien establecida, mientras que las versiones más grandes/nuevas del mismo modelo produjeron traducciones idiomáticas correctas. Si esto se mantiene en todas las categorías de modismos y pares de idiomas es la siguiente pregunta. Haré más pruebas.

2. ‎¿Por qué tres traducciones idiomáticas correctas produjeron tres resultados significativamente diferentes?

GPT-4.1-MINI, GPT-5.4-MINI y GPT-5.4 tradujeron llevarse el gato al agua idiomáticamente, pero en diferentes expresiones en inglés con connotaciones sutilmente diferentes. Esto sugiere que la calidad de la traducción idiomática tiene al menos dos dimensiones: si el modelo reconoce el modismo en absoluto, y qué expresión equivalente selecciona entre las opciones disponibles en la lengua meta. Las métricas estándar de calidad de traducción no separan claramente estas dos dimensiones. Creo que deberían.

Esta publicación se basa en pruebas internas en la plataforma de desarrollo de MachineTranslation.com. La prueba de versiones multimodelo que se muestra aquí aún no está disponible públicamente. Comparto el hallazgo porque creo que la observación es útil independientemente de dónde ejecute sus traducciones.