GPT-3'ten GPT-5'e: Yapay zeka çeviri kalitesi gerçekte nasıl değişti

GPT-3, GPT-4 ve GPT-5 arasında beş yıl ve birkaç mimari nesli fark var; ancak çeviri açısından asıl faydalı soru "hangisinin en akıllı olduğu" değil. Soru daha spesifik: Bu modellerin, dilde kelimesi kelimesine çevrilemeyen deyimler, anlam belirsizlikleri ve üslup gibi unsurları ele alma biçiminde tam olarak ne değişti? Gelişme belirli alanlarda, belirli noktalarda gerçekleşti ve eskiden yeniye doğru doğrusal bir çizgide ilerlemedi.

GPT-3 çeviri için gerçekte ne sundu?

OpenAI, GPT-3'ü 2020'de, MachineTranslation.com'un kendi test programı henüz mevcut değilken piyasaya sürdü; bu nedenle buradaki hiçbir şey tescilli bir kıyaslama (benchmark) değildir. Bunlar dahili bir test sonucu değil, iyi belgelenmiş bir geçmişten ibarettir. GPT-3, göreve özel bir eğitime ihtiyaç duymadan birden fazla dilde akıcı ve insan elinden çıkmış gibi metinler üretebilen türünün ilk modeliydi ve bu da onu gerçek bir dönüm noktası haline getirdi. Özellikle çeviri konusunda ise bu akıcılık gerçek bir risk yarattı: GPT-3, hedef dilde kendinden emin ve düzgün yapılandırılmış ancak yine de yanlış olan ve çıktıda bir hata yapıldığına dair hiçbir işaret vermeyen bir cümle üretebiliyordu.

GPT-4 geldiğinde ne değişti?

GPT-4, Mart 2023'te kullanıma sunuldu ve MachineTranslation.com'un kendi model testleri yaklaşık bu nesille birlikte başladı. Gelişme gerçek ancak dengesizdi. Çift anlamlı İngilizce bir ifade olan "That's sick" Japoncaya çevrilerek test edildiğinde, test edilen altı model arasında GPT-4.1-nano, ifadenin kasıtlı çift anlamını tek bir yoruma indirgeyen tek model oldu; diğer beş model ise orijinal ifadenin amaçladığı belirsizliği korudu. Deyimler ise daha büyük bir zayıflıktı: İspanyolca "llevarse el gato al agua" deyimi aynı anda beş GPT sürümünde test edildiğinde, daha küçük modeller olan GPT-4o-mini ve GPT-4.1-nano'nun her ikisi de deyimi tamamen gözden kaçırarak aynı kelimesi kelimesine ve yanlış çeviriyi üretti.

Aynı eğilim başka yerlerde de kendini gösterdi. Sekiz GPT ve Claude alt sürümünde test edilen Almanca "ich verstehe nur Bahnhof" deyimi, özellikle GPT-4o-mini tarafından kelimesi kelimesine ve yanlış bir şekilde çevrilirken, aynı testteki daha küçük ve daha yeni bir model olan GPT-4.1-nano doğru çeviriyi yaptı. Nesil ve model boyutu tutarlı bir korelasyon göstermedi; MachineTranslation.com'un model sürümü testlerinin daha ayrıntılı ele aldığı bir durum da tam olarak bu.

GPT-5 çeviri için neleri değiştirdi?

OpenAI, GPT-5'i göreve bağlı olarak hızlı bir varsayılan model ile daha derin bir akıl yürütme modeli arasında yönlendirme yapan birleşik bir sistem olarak sundu; bu, GPT-4'ün tek modelli tasarımına kıyasla yapısal bir değişiklikti. OpenAI'ın kendi GPT-5 System Card raporu, modelin genel olgusal hata oranının GPT-4'e kıyasla yaklaşık %45, GPT-3'e kıyasla ise %80 daha düşük olduğunu belirtiyor; bu genel güvenilirlik artışı çeviriye de özel olarak yansıyor. MachineTranslation.com'un testleri, en belirgin kazanımların GPT-4 dönemi modellerinin en çok zorlandığı noktalarda olduğunu gösteriyor: GPT-4o-mini ve GPT-4.1-nano'nun yanlış yaptığı aynı İspanyolca deyimde, hem GPT-5.4-mini hem de GPT-5.4 doğru ve deyimsel çevirilere ulaştı; her ikisi de biraz farklı ifade etse de deyimin kendisini anlamıştı.

Bu son nokta oldukça önemli: standart bir iş ifadesi olan "please confirm receipt of this document" metninin Almancaya çevrildiği ayrı bir testte, GPT-4o-mini ve GPT-5 nesli modeller de dahil olmak üzere test edilen tüm modellerde neredeyse birbirinin aynı çıktılar elde edildi. Nesiller arasındaki fark, genel bir kalite farkından ziyade özellikle mecazi ve belirsiz ifadelere sahip dile özgüdür.

Daha yeni bir GPT nesli her zaman daha iyi çeviri anlamına mı gelir?

Hayır. İbranice bir deyim model aileleri arasında test edildiğinde, GPT-5.4-mini ve GPT-5.4 aynı ifade için ikisi de tam olarak doğru olmayan iki farklı, kısmi yoruma vardı; oysa daha eski ve konuyla ilgisiz bir model gerçeğe daha çok yaklaştı. Daha yeni bir model otomatik olarak daha doğru bir model olmadığı gibi, daha büyük veya daha güncel bir model de belirli bir cümle için otomatik olarak daha güvenli bir seçim değildir.

GPT-5 bugün çeviri konusunda nerede duruyor

Hem GPT-3 hem de GPT-4, ChatGPT'den kaldırıldı; GPT-4'e yalnızca mevcut entegrasyonlar için OpenAI'ın API'si aracılığıyla erişilebiliyor. MachineTranslation.com'un bugün çalıştırdığı mevcut nesil GPT-5.4 ve GPT-5.5 olup, her dil çiftinde tek tip şekilde daha iyi olmasa da diğer sağlayıcıların güncel modellerine karşı rekabetçi bir performans sergiliyor. Güncel GPT alt sürümlerinin birbirleriyle ve Claude ile DeepSeek gibi modellerle nasıl karşılaştırıldığına daha yakından bakmak için, MachineTranslation.com'un nesiller arası bir genel bakıştan daha derine inen kafa kafaya alt sürüm testlerine göz atın.

Büyük ölçekte yerelleştirme yapıyorsanız bu ne anlama geliyor

Büyük ölçekli bir yerelleştirme programı için en önemli bulgu "GPT-5, GPT-3'ü geride bırakıyor" değildir. Yalnızca model ailesinin değil, model sürümünün de belirli bir deyimin veya belirsiz bir ifadenin doğru çevrilip çevrilmeyeceğini belirlemesidir ve bu durum yalnızca burada gösterilen birkaç örnek için değil, her dil çifti için geçerlidir. Bu durum, özellikle tek bir deyimin birebir çevrilmesinin bir gönderinin veya reklamın tüm anlamını değiştirebileceği pazarlama metinleri ve kullanıcı tarafından oluşturulan içerikler başta olmak üzere, en başından üsluba ve mecazi dile dayanan içeriklerde büyük önem taşır. İçeriği onlarca dile aktaran bir program, bunların her birinde tam olarak bu tür bir dille karşılaşacaktır. MachineTranslation.com'un alt sürüm test serisi ve tam model karşılaştırma testleri bu konuyu daha ayrıntılı olarak ele almaktadır. Platformun her çeviride güncel GPT modellerini 20'den fazla diğer modelle birlikte çalıştırma yaklaşımı, tam olarak hiçbir modelin sürüm geçmişinin tek başına yeterince güvenilir bir garanti olmaması nedeniyle mevcuttur.

Sıkça sorulan sorular