Qwen vs ChatGPT: โมเดล AI ตัวไหนแปลได้ดีกว่ากัน?

รุ่นปัจจุบันของ ChatGPT และ Qwen ต่างเป็นส่วนหนึ่งของกลุ่มโมเดลที่ MachineTranslation.com ใช้ในการแปลทุกครั้ง ไม่ใช่คู่แข่งจากภายนอกสองรายที่ถูกนำมาตัดสินเทียบกับตัวแพลตฟอร์มเอง เมื่อนำข้อความเดียวกันมาผ่านการแปลของทั้งสองโมเดลในเซกเมนต์ที่เหมือนกัน ChatGPT จะชนะในคู่ภาษาส่วนใหญ่โดยรวม แต่หากแยกผลลัพธ์ตามทิศทางการแปล ภาพจะแคบลงอย่างเห็นได้ชัดในจุดหนึ่งโดยเฉพาะ นั่นคือ การแปลเป็นภาษาอังกฤษ ซึ่งทั้งสองโมเดลทำผลงานได้สูสีกันมาก

มี AI ตัวไหนที่ดีกว่า ChatGPT สำหรับการแปลภาษาหรือไม่?

ความสนใจทั่วไปเกี่ยวกับทางเลือกอื่นนอกจาก ChatGPT เพิ่มขึ้นเมื่อโมเดลคู่แข่งได้รับการพัฒนาให้ดีขึ้น แม้ว่าเหตุผลจะแตกต่างกันไปตามกรณีการใช้งานและไม่มีคำอธิบายใดเพียงอย่างเดียว สำหรับงานแปลโดยเฉพาะ คำถามที่มีประโยชน์มากกว่าคือ โมเดลใดทำงานได้ดีกว่ากันในคู่ภาษาที่กำหนด ซึ่งเป็นคำถามที่สามารถทดสอบได้จริงมากกว่าที่จะเป็นเรื่องของความรู้สึก

จากทราฟฟิกของ MachineTranslation.com ในช่วง 28 วันที่ผ่านมา ทั้งสองโมเดลได้แปลข้อความต้นฉบับเดียวกันใน 98 คู่ภาษา โดย ChatGPT ได้คะแนนสูงกว่าใน 77 คู่ภาษา ส่วน Qwen ได้คะแนนสูงกว่าใน 21 คู่ภาษา คะแนนเฉลี่ยแบบถ่วงน้ำหนักจากผลลัพธ์ที่เปรียบเทียบกันทำให้ ChatGPT ได้ 9.10 จาก 10 คะแนน และ Qwen ได้ 8.98 คะแนน ซึ่งเป็นช่องว่างที่เกิดขึ้นจริงแต่ไม่มากนักโดยเฉลี่ย ทว่ากลับซ่อนความแตกต่างที่ชัดเจนกว่ามากเมื่อนำทิศทางการแปลมาพิจารณา

เหตุใดช่องว่างจึงแทบจะหายไปเมื่อแปลเป็นภาษาอังกฤษ?

ข้อมูลแสดงให้เห็นว่าความแตกต่างเกิดขึ้นที่จุดใด แต่ไม่ได้บอกว่าทำไม สิ่งที่ชัดเจนคือความสามารถในการแข่งขันของ Qwen นั้นไม่ได้กระจายตัวอย่างสม่ำเสมอ จากทั้งหมด 27 คู่ภาษาที่มีภาษาเป้าหมายเป็นภาษาอังกฤษ Qwen ชนะไป 13 คู่ ซึ่งไม่ต่างจากการโยนเหรียญเสี่ยงทาย ส่วนใน 71 คู่ภาษาที่เหลือ ทั้งการแปลออกจากภาษาอังกฤษและการแปลระหว่างสองภาษาที่ไม่ใช่ภาษาอังกฤษ ChatGPT ชนะไปถึง 63 คู่ หรือคิดเป็น 89% ทีมใดที่ด่วนสรุปว่าประสิทธิภาพในการแปลเป็นภาษาอังกฤษของ Qwen จะนำไปใช้กับการแปลออกจากภาษาอังกฤษหรือคู่ภาษาที่ไม่ใช่ภาษาอังกฤษได้เหมือนกัน ก็ถือว่ากำลังถอดบทเรียนผิดเรื่องจากทิศทางที่ไม่ถูกต้อง

Qwen เป็นบริษัทสัญชาติจีนหรือไม่ และเรื่องนี้มีความสำคัญต่อการแปลหรือไม่?

Qwen ได้รับการพัฒนาโดย Alibaba Cloud ซึ่งตั้งอยู่ในประเทศจีน เพียงปัจจัยนี้ประการเดียวไม่ได้เปลี่ยนความสามารถของโมเดลในการแปลประโยค ข้อมูลข้างต้นสะท้อนถึงคุณภาพผลลัพธ์ที่แท้จริงไม่ว่าโมเดลนั้นจะถูกสร้างขึ้นที่ใด จุดที่อาจมีความสำคัญคือการจัดการข้อมูล: ธุรกิจที่แปลเนื้อหาที่มีการกำกับดูแลหรือมีความละเอียดอ่อน (สัญญา เวชระเบียน ข้อมูลส่วนบุคคล) ควรมองประเด็นเรื่องสถานที่ที่ผู้ให้บริการ AI ประมวลผลและจัดเก็บเนื้อหาเหล่านั้นเป็นหัวข้อการตรวจสอบสถานะ (due diligence) ที่แท้จริง ซึ่งแยกต่างหากจากคุณภาพการแปล เรื่องนี้มีผลกับผู้ให้บริการ AI ทุกราย ไม่ใช่เฉพาะ Qwen เท่านั้น และนี่ก็เป็นเหตุผลส่วนหนึ่งที่ MachineTranslation.com เผยแพร่แนวปฏิบัติด้านการจัดการข้อมูลและความปลอดภัยของตนเองโดยตรง แทนที่จะปล่อยให้คำถามนี้ไร้คำตอบ

มีโมเดลใดที่มีความน่าเชื่อถือมากกว่าสำหรับการแปลทางกฎหมายและธุรกิจหรือไม่?

ไม่เสมอไป และความแตกต่างก็ไม่ได้ขึ้นอยู่กับว่าโมเดลใดได้คะแนนสูงกว่าเสมอไป การทดสอบของ MachineTranslation.com กับภาษาในสัญญาจริงพบ 2 กรณีแยกกันที่ควรรู้ก่อนที่จะไว้วางใจให้โมเดลใดโมเดลหนึ่งแปลเอกสารทางกฎหมาย ในบางครั้ง ภาษาสำนวนก็ให้ผลลัพธ์ตรงกันข้าม โดยการทดสอบแบบตัวต่อตัวอีกรายการหนึ่งพบว่า ChatGPT แปลสำนวนภาษาเยอรมันแบบตรงตัวและไม่ถูกต้อง ในขณะที่ Qwen ได้ความหมายตามสำนวนที่ถูกต้อง ซึ่งเป็นเครื่องเตือนใจว่าความได้เปรียบโดยรวมของโมเดลใดโมเดลหนึ่งในข้อมูลรวมนั้น ไม่ได้เป็นจริงเสมอไปในทุกๆ ประโยค

ไม่มีโมเดลใดชนะได้อย่างสม่ำเสมอในทั้งสามกรณีนี้ คะแนนรวมของโมเดลเดี่ยวๆ ไม่สามารถคาดการณ์พฤติกรรมของโมเดลต่อคำหรือวลีเฉพาะเจาะจงใดๆ ได้ และนี่คือเหตุผลที่ข้อความทางกฎหมายและสัญญาจะได้รับประโยชน์อย่างยิ่งจากขั้นตอนการตรวจสอบโดยมนุษย์ ไม่ว่าโมเดลใดจะเป็นผู้สร้างฉบับร่างแรกขึ้นมาก็ตาม

แล้วในแง่ของความครอบคลุมทางภาษาล่ะ?

ทั้ง ChatGPT และ Qwen ไม่ได้เผยแพร่รายการคู่ภาษาที่มีการยืนยันและตรวจสอบอย่างอิสระว่าคุณภาพการแปลลดลงที่จุดใด ทั้งสองเป็นโมเดลอเนกประสงค์ที่ผ่านการฝึกฝนหลายภาษามาอย่างกว้างขวาง ซึ่งเป็นคนละเรื่องกับประสิทธิภาพการแปลที่วัดผลได้จริงในชุดภาษาเฉพาะ MachineTranslation.com ทำการทดสอบและให้คะแนนคุณภาพการแปลโดยตรงในกว่า 330 ภาษา แทนที่จะพึ่งพาความสามารถทางภาษาทั่วไปของโมเดลมาเป็นตัวแทนชี้วัดว่าโมเดลนั้นแปลได้ดีจริงเพียงใด

สิ่งใดบ้างที่คุณไม่ควรวางลงใน ChatGPT หรือ Qwen สำหรับการแปลทางธุรกิจ?

ทั้ง ChatGPT และ Qwen ไม่ได้ถูกสร้างขึ้นมาเพื่อเป็นแพลตฟอร์มการแปลโดยเฉพาะ และการวางเนื้อหาทางธุรกิจที่ละเอียดอ่อนลงในอินเทอร์เฟซแชตทั่วไปโดยตรงนั้น ก่อให้เกิดคำถามด้านการจัดการข้อมูลเช่นเดียวกับการวางลงในเครื่องมือ AI สำหรับผู้บริโภคอื่นๆ ได้แก่ ข้อมูลที่ป้อนเข้าไปได้รับการประมวลผลที่ใด มีการเก็บรักษาไว้หรือไม่ และใครสามารถเข้าถึงได้บ้าง สัญญา บันทึกทางการแพทย์ เอกสารการย้ายถิ่นฐาน และงบการเงิน ล้วนเป็นเนื้อหาประเภทที่ควรค่าแก่การหาคำตอบสำหรับคำถามดังกล่าว ก่อน ที่จะแปล ไม่ใช่หลังจากนั้น นี่คือเหตุผลแท้จริงที่ทำให้แพลตฟอร์มการแปลเฉพาะทางซึ่งมีแนวทางปฏิบัติด้านการจัดการข้อมูลที่เผยแพร่และตรวจสอบได้ มีความแตกต่างอย่างสิ้นเชิงจากอินเทอร์เฟซแชตทั่วไป ไม่ว่าโมเดลที่ทำงานอยู่เบื้องหลังของแต่ละแพลตฟอร์มจะเป็นโมเดลใดก็ตาม

MachineTranslation.com นำทั้งสองโมเดลมาใช้งานจริงอย่างไร

MachineTranslation.com รัน ChatGPT, Qwen และโมเดล AI อื่นๆ อีกกว่า 20 โมเดลในการแปลทุกครั้ง จากนั้นจึงดึงเวอร์ชันที่โมเดลเหล่านั้นเห็นตรงกันมากที่สุดออกมา เมื่อพิจารณาว่าประสิทธิภาพของ Qwen และ ChatGPT แตกต่างกันอย่างชัดเจนตามทิศทางการแปล การเลือกโมเดลใดโมเดลหนึ่งเป็นค่าเริ่มต้นถาวรจะส่งผลให้เกิดการคาดเดาผิดพลาดในคู่ภาษาจำนวนหนึ่งที่สามารถคาดการณ์ได้ รูปแบบที่ขึ้นอยู่กับทิศทางการแปลในลักษณะเดียวกันนี้ยังปรากฏในการเปรียบเทียบ Qwen กับ DeepSeek ของ MachineTranslation.com อีกด้วย หากต้องการดูภาพรวมทั้งหมดว่าโมเดลในปัจจุบันได้รับการทดสอบเปรียบเทียบกันอย่างไร โปรดดูการทดสอบเปรียบเทียบโมเดลฉบับเต็มของ MachineTranslation.com

คำถามที่พบบ่อย