동일한 AI, 다른 모델 — 그리고 번역은 이보다 더 다를 수 없습니다

우리가 번역 업계에서 충분히 이야기하지 않는 것에 대해 내부 테스트를 진행해 왔습니다. 바로 다른 AI 시스템이 다르게 번역하는지 여부가 아니라, 동일한 AI의 다른 버전이 얼마나 다르게 번역하는지에 대한 것입니다.

지난주에 저는 MachineTranslation.com의 내부 테스트 플랫폼에서 다섯 가지 버전의 ChatGPT를 통해 하나의 스페인어 관용구를 동시에 테스트했습니다. 결과는 저를 멈추게 했습니다.

두 가지 버전은 영어로 말 그대로 말이 안 되는 번역을 생성했습니다.‎ 세 가지 버전 모두 올바른 관용적 번역을 생성했습니다. 그리고 세 개의 정답은 서로 일치하지 않았습니다.

다섯 개 모두 ChatGPT입니다. 모두 OpenAI입니다. 같은 AI, 다른 모델 — 결과는 전혀 다를 수 있습니다.

지금 공유하는 이유는 깨끗한 답을 가지고 있어서가 아니라, 이것이 중요하다고 생각하기 때문입니다.‎ 아니요. 하지만 그 관찰은 세상에 내놓을 만큼 흥미롭다. 목차

• 테스트: 하나의 스페인어 관용구, 다섯 가지 GPT 버전
• 이 관용구가 좋은 테스트 사례가 되는 이유
• 문자 그대로의 번역과 관용구적 번역의 분리가 이 모델들이 어떻게 훈련되었는지에 대해 우리에게 말해주는 것
• 아무도 이야기하지 않는 것처럼 보이는 함의
• 심지어 올바른 번역조차 서로 동의하지 않았습니다
• 아직 모르는 것
• 곰곰이 생각해 볼 만한 두 가지 연구 질문

테스트: 스페인어 관용구 하나, GPT 버전 5개

테스트한 구절은 llevarse el gato al agua였습니다.

각 버전이 생성한 내용은 다음과 같습니다:

이 구절은 어려운 역경을 이겨내고 무언가를 달성한다는 뜻으로, 어려운 승리를 거두는 것을 의미합니다. 고양이 또는 물과는 아무 관련이 없습니다. 직역은 번역이 아니다. 이것은 모델이 관용구로 인식하지 못한 구문의 단어별 전사입니다. GPT-4o-MINI와 GPT-4.1-NANO는 동일한 출력을

생성했습니다. 비슷하지 않음, 동일함. 당사의 번역 인사이트에서 이를 직접 감지했습니다. GPT-4.1-nano 와 GPT-4o-mini는 문자 그대로 의미를 해석하는 것을 강조하며 동일한 번역을 공유합니다.

GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4는 각각 인식 가능하게 올바른 결과를 생성했지만 서로 같지는 않았습니다.

이 관용구가 좋은 테스트 사례가 되는 이유

저는 llevarse el gato al agua가 무작위로 선택된 것이 아니라 유용한 테스트 입력인 이유를 정확히 설명하고 싶습니다.

이것은 잘 확립된 관용구입니다. 문학, 저널리즘, 그리고 일상 대화에 나타납니다. 모호하지 않습니다. 스페인어 텍스트의 합리적인 말뭉치로 훈련된 모든 모델은 이를 접했을 것입니다. 모델이 해당 문구를 보았는지 여부가 문제가 아닙니다. 그것이 그것으로 무엇을 하는지가 문제입니다. 관용구 번역에서 최악의 실패 모드는 나쁜 번역을 하는 것이

아닙니다.‎ 그것은 타겟 언어를 모르는 사람에게 괜찮아 보이는 직역을 생성하고 있습니다.

고양이를 물로 데려가다는 문법적으로 올바른 영어입니다. 잘 구성되었습니다. 스페인어를 못하는 사용자는 그것을 읽고 고개를 끄덕인 후 지나갈 수 있습니다. — 원래 의미가 완전히 사라졌다는 것을 전혀 모른 채 말입니다.

그것이 제가 신경 쓰는 실패 모드입니다. 명백한 오류가 아닙니다. 보이지 않는 것.

이러한 모델이 어떻게 훈련되었는지에 대해 문자 그대로의 의미와 관용적인 의미의 분리가 우리에게 말해주는 것

여기서 나타나는 패턴은 무작위가 아닙니다. 직역 을 생성한 두 모델(GPT-4o-MINI 및 GPT-4.1-NANO)은 모두 속도와 비용 효율성을 위해 최적화된 더 작고 가벼운 모델입니다. 이디엄 번역을 생성한 세 가지 모델(GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4)은 다른 세대 또는 매개변수 규모를 나타냅니다.

이는 제가 생각하기에 덜 탐구된 것, 즉 번역의 이디엄 능력은 일반 벤치마크에서는 보이지 않는 방식으로 모델 용량과 함께 확장된다는 것을 시사합니다.

일반 언어 벤치마크는 추론, 지식, 코딩, 수학을 테스트합니다. 그들은 일반적으로 모델이 비가 억수같이 쏟아진다는 것이 날씨 조건에 관한 것이 아니라는 것을 식별할 수 있는지 , 또는 고양이를 물에 데려간다는 것이 고양이에게 물을 주는 것에 관한 것이 아니라는 것을 식별할 수 있는지 테스트하지 않습니다. 관용구는 문화적 지식, 맥락적 추론 및 패턴 인식의 교차점에 앉아 있으며 — 그리고 그 교차점은 더 작은 모델이 일관되게 통과하지 못하는 모델 용량의 임계값을 요구하는 것 같습니다

. 제가 주장하지 않는 것은 더 큰 모델이 항상 더 나은 번역가라는 것입니다 ‎. 저는 일반적인 규칙으로서 그것에 대한 증거가 없습니다. 제가 관찰하고 있는 것은 다음과 같습니다: 특히 관용적인 내용에 대해서는 가족 내 버전 차이가 제가 예상했던 것보다 컸다는 것입니다.

아무도 이야기하지 않는다는 함의

AI 번역 도구를 사용하는 대부분의 사용자는 자신이 어떤 버전 의 AI를 사용하고 있는지 모릅니다. 그들은 제품을 열고, 언어 쌍 을 선택하고, 출력을 얻습니다. 모델 라우팅은 그들에게 보이지 않습니다.

이는 규모가 커질 때 중요합니다. MachineTranslation.com은 단 90일 동안 수십만 건 이상의 영어-스페인어 번역 작업을 처리했습니다. 만약 해당 직무의 상당 부분이 관용적인 콘텐츠(마케팅 문구, 법률 언어, 문학 텍스트, 일상적인 소통)를 다루었고 해당 직무를 처리하는 도구가 사용자 모르게 더 작은 모델로 안내하고 있었다면, 고양이를 물로 데려가다라는 표현이 실제 결과물, 실제 문서에서, 그 결과를 신뢰했던 실제 사람들에게 나타나고 있었을 것입니다. 번역 산업은 수년간 AI 제공업체를 비교해 왔습니다. DeepL 대 Google.‎

클로드 대 챗GPT. 그 비교들은 유용하다 ‎. 하지만 단일 제공업체 내에서도 버전 차이가 그만큼 중요할 수 있으며, 대부분의 비교 프레임워크는 모델 버전 수준에서 테스트하지 않기 때문에 측정하지 않는 차이입니다.

누군가 번역에 ChatGPT를 사용합니다라고 말할 때, 그 문장은 의미 있을 만큼 구체적이지 않습니다.‎ 어떤 ChatGPT? 나노? 4o-미니? ‎4.1-미니? 5.4? 답변은 결과에 사소하지 않은 방식으로 변화를 주는데, 적어도 관용적인 내용에 있어서는 그렇습니다.

심지어 올바른 번역조차 서로 일치하지 않았습니다

이것이 제가 가장 흥미롭게 생각하는 부분이며, 아직 완전히 이해하지 못했습니다.

관용적인 번역을 생성한 세 가지 모델은 세 가지 다른 번역을 제공했습니다:

• GPT-4.1-MINI: to pull it off successfully
• GPT-5.4-MINI: to get one's way
• GPT-5.4: to come out on top

세 가지 모두 llevarse el gato al agua에 대한 방어 가능한 영어 표현입니다. 하지만 그것들은 동등하지 않습니다.

그것을 해내다는 어려움에 대한 실행을 강조합니다. 당신은 어려운 일을 해냈고 그것은 성공했습니다. 뜻대로 하다는 원하는 결과가 달성되었음을 강조하며, 어려움에는 덜 중점을 둡니다. 최고가 되다는 다른 사람들에 비해 이기는 경쟁적인 승리를 강조합니다.

원래 스페인어 관용구는 이 중 첫 번째에 가장 가깝습니다. 이 문구는 단순히 하나의 결과를 선호하고 그것이 실현되도록 하는 것이 아니라, 저항을 극복한다는 의미를 내포합니다.‎ 하지만 “뜻대로 하다”와 “이기다”는 틀린 것이 아니라, 단지 서로 다른 방향으로 부정확할 뿐입니다.

이것은 제가 진정으로 어렵다고 생각하는 질문을 제기합니다. 세 개의 모델이 각각 정확하지만 다른 관용적 번역을 생성할 때, 어떤 것이 최고인지 어떻게 평가해야 할까요? BLEU 점수는 참조 번역과 비교됩니다. 하지만 누가 참조를 작성했으며, 이 세 가지 중 어떤 것을 선택했을까요?

당사의 AI 번역 에이전트는 신용할 만하게도, 어떤 출력도 커밋하기 전에 올바른 질문을 했습니다. ‎ 이 맥락에서 'llevarse el gato al agua'의 의도된 의미는 무엇인가요?‎ 세 가지 선택지가 제시되었다. 어려운 목표를 달성하거나, 불필요한 것을 취하거나, 위험한 활동에 참여하는 것이었다.‎ 그 질문은 장식적인 것이 아닙니다. 번역이 완료되기 전에 문맥적 모호성이 해결되는 메커니즘입니다. 하지만 요점은 세 가지 올바른 답, 세 가지 다른 의미의 뉘앙스입니다.‎

번역 평가 도구는 이러한 뉘앙스를 위해 만들어지지 않았습니다 .

아직 모르는 부분은

이 테스트가 보여주는 것의 한계에 대해 솔직하게 말하고 싶습니다.

하나의 관용구, 하나의 언어 쌍, 하루의 내부 테스트. 그것은 연구가 아닙니다. 관찰입니다. 이 패턴(더 작은 모델은 직역을 기본으로 하고, 더 큰 모델은 관용구를 구사하는 것)이 일관되게 유지되는지 모르겠습니다.

• 다른 스페인어 관용구
• 풍부한 관용구 전통을 가진 다른 언어 쌍 (아랍어, 일본어, 러시아어가 떠오릅니다)
• 구분이 적용되지 않는 비관용적 콘텐츠
• 더 작은 모델은 관용구를 맞추고 더 큰 모델은 놓치는 엣지 케이스

또한 이것이 이 모델들의 안정적인 속성인지 아니면 업데이트와 미세 조정에 따라 변하는 것인지 모르겠습니다. 모델 제공업체는 번역별 변경 로그를 게시하지 않습니다. 오늘날 llevarse el gato al agua를 올바르게 처리하는 모델 버전은 다음 달에 업데이트될 수 있으며, 우리는 알 방법이 없을 것입니다.

제가 아는 것은 이 테스트가 더 많은 언어 쌍과 콘텐츠 유형에 걸쳐 더 체계적으로 더 많은 테스트를 실행하고 싶을 만큼 흥미로운 결과를 생성했다는 것입니다. 더 공유할 내용이 생기면 공유하겠습니다. 고민해 볼 만한 두 가지 연구 질문 이 시험이 제게 남긴 두 가지 질문으로

마무리하겠습니다.‎

저는 아직 그럴 데이터가 없어서 그들에게 답변하지 않을 것입니다. 하지만 이것이 올바른 질문이라고 생각합니다.

첫째: 어떤 매개변수 임계값에서 관용적 능력 이 신뢰할 수 있게 됩니까?

GPT-4o-MINI 및 GPT-4.1-NANO(둘 다 문자 그대로)에서 GPT-4.1-MINI(관용적)로의 도약은 해당 모델 크기 사이의 매개변수 범위 어딘가에 임계값이 있음을 시사합니다. 여기서 관용구 인식이 켜집니다. 일관성이 있나요? 그것은 모든 언어의 관용구 에 적용되나요, 아니면 언어가 훈련 데이터에 얼마나 잘 표현되었는지 에 따라 달라지나요? 모르겠어요. 하지만 번역 워크플로를 구축하는 모든 사람에게 유용할 것입니다. 둘째: 모델 버전 불투명성이 사용자에게 대규모로 어떤 비용을 초래합니까? 사용자가 매월 1,000개의 문서를 도구에 전달하는데, 이 도구는 사용 중인 모델 버전을 공개하지 않고(그리고 그 문서 중 일부는 관용적인 내용을 포함하고 있습니다), 얼마나 자주 문자 그대로의 실패가 보이지 않게 발생하고

있습니까?‎

그들이 어떻게 알겠는가? 알아내지 못하는 것의 실질적인 비용은 얼마인가?

나는 이것이 현재 유통되고 있는 대부분의 어떤 AI가 번역에 가장 좋은가 비교보다 더 중요한 질문이라고 생각한다.‎ 정답은 가장 큰 모델을 사용하라가 아닙니다. 정답은 다음과 같을 수 있습니다: 무엇을 사용하고 있는지 알고, 자체 콘텐츠에 대해 자체 테스트를 실행하며, 한 공급업체의 이름이 해당 모델 범위에 걸쳐 일관된 동작을 보장한다고 가정하지 마십시오. 즉, 적어도 제가 이 테스트에서 얻은 것은 그것입니다.

연구 질문

1. 모델 크기가 관용적 번역 품질을 신뢰성 있게 예측하는가?

이 단일 테스트를 기반으로: 동일한 AI 계열 내의 더 작고 효율성이 최적화된 모델 은 잘 확립된 스페인어 관용구를 문자 그대로 번역하는 경향이 있었던 반면, 동일한 모델의 더 크거나 최신 버전은 올바른 관용적 표현을 생성했다. 이것이 관용구 범주와 언어 쌍 전반에 걸쳐 적용되는지는 다음 질문입니다. 더 많은 테스트를 진행하겠습니다.

2. 세 개의 올바른 관용적 번역이 세 가지 의미론적으로 다른 결과를 생성한 이유는 무엇일까요?

GPT-4.1-MINI, GPT-5.4-MINI, GPT-5.4 모두 llevarse el gato al agua를 관용적으로 번역했지만, 미묘하게 다른 함의를 가진 다른 영어 표현으로 번역했습니다. 이는 관용구 번역 품질이 최소한 두 가지 차원을 가지고 있음을 시사합니다 : 모델이 관용구를 전혀 인식하는지 여부, 그리고 대상 언어에서 사용 가능한 옵션 중에서 어떤 등가 표현을 선택하는지입니다 ‎. 표준 번역 품질 지표는 이 두 가지 차원을 명확하게 구분하지 못합니다 ‎. 그렇게 해야 한다고 생각합니다.

MachineTranslation.com의 개발 플랫폼에서 내부 테스트를 기반으로 한 게시물입니다. 여기에 표시된 다중 모델 버전 테스트는 아직 공개적으로 사용할 수 없습니다. 번역을 어디서 진행하시든 이 관찰 결과가 유용할 것이라고 생각하기 때문에 공유합니다.