เราอยู่ในยุคที่ Google Translate สามารถที่จะแปลงประโยคใดๆ เป็นภาษาต่างๆ ได้มากกว่า 100 ภาษา และสามารถทำมันได้อย่างรวดเร็ว แต่หลายๆ คนที่ใช้งานเป็นประจำจะรู้ว่า Google Translate ยังมีสิ่งที่ต้องปรับปรุงอีกมาก

ในทางทฤษฎี โมเดลภาษาขนาดใหญ่ (LLM) เช่น ChatGPT น่าจะนำไปสู่ยุคต่อไปของการแปลภาษา เนื่องจากพวกมันใช้ข้อมูลการฝึกอบรมจำนวนมาก บวกกับการที่ได้รับ feedback แบบเรียลไทม์จากผู้ใช้หลายล้านคนทั่วโลก และเรียนรู้วิธีพูดภาษาต่างๆ ได้อย่างรวดเร็วด้วยประโยคที่ใกล้เคียงกับมนุษย์

“ขณะนี้เรายังไม่มีผลลัพธ์เชิงประจักษ์ที่สนับสนุนการอ้างว่า LLM ทำงานได้ดีกว่าสำหรับการแปล” Nazneen Rajani หัวหน้าฝ่ายวิจัยของ Hugging Face ผู้สร้าง Hugging Chat ที่ใช้เทคโนโลยี AI กล่าว

ดังนั้นทางทีมงาน PCMag จึงตัดสินใจทดสอบ ChatGPT และทำการพิสูจน์ว่าจะมีอะไรสามารถมาแทนที่ Google Translate ในฐานะบริการแปลภาษาสำหรับการเดินทาง การทำงาน ความรักทางไกล และภาษาอื่นๆ ที่ต้องการได้หรือไม่ และทำการเปรียบเทียบกับ Chatbot อย่าง Microsoft Bing และ Google Bard 

วิธีการทดสอบการแปลภาษา

ทาง PCMag ได้ขอให้ผู้ที่สามารถพูดได้สองภาษาในเจ็ดภาษาทำการทดสอบแบบ blind test พวกเขาทั้งหมดเติบโตขึ้นมาโดยพูดภาษาที่ไม่ใช่ภาษาอังกฤษ และตอนนี้อาศัยอยู่ในสหรัฐอเมริกาหรือทำงานให้กับบริษัทอเมริกัน

เมื่อพิจารณาจาก Paragraph ที่เป็นภาษาอังกฤษ พวกเขาจะทำการจัดอันดับว่าแบบไหนแปลได้เนียนกว่ากัน โดยที่จะไม่รู้ว่ามาจากเครื่องมือใดระหว่าง Google Translate, ChatGPT และ Microsoft Bing  โดยจะมีการเปิดเผยภายหลังว่าผลการแปลที่ได้ถูกจัดอันดับนั้นมาจากเครื่องมือใด

• ภาษาที่ทดสอบ:โปแลนด์ ฝรั่งเศส เกาหลี สเปน อาหรับ ตากาล็อก อัมฮาริก
• บริการแปลภาษา: Google Translate, Google Bard, ChatGPT, Microsoft Bing

การสร้าง Paragraph สำหรับการแปล

เมื่อเลือกภาษาและโมเดล AI ทีมงาน PCMag จึงสร้าง paragraph เป็นภาษาอังกฤษ โดยจะประกอบด้วยภาษาพูดที่มีความซับซ้อน 2 คำ ได้แก่ “Blow off steam” ซึ่งหมายถึงการปลดปล่อยความรู้สึก  ความโกรธ หรือความกดดันที่มีอยู่ และ “Cheers!” ที่หมายถึง “ขอบคุณ!” นอกจากนี้ยังมีหน่วยวัดสองหน่วยที่จะต้องมีการแปลงในสถานการณ์จริง: USD ($) และไมล์

• Paragraph 1 – “Hello! Do you speak English? I need some help with directions. I am trying to find a vegetarian restaurant because my sister does not eat meat. What do you recommend? We also want to stay within a few miles of here, and don’t want to spend more than $50. If they have cocktails, that would be a bonus. We’ve had a long day of traveling and need to blow off some steam! You’re welcome to join us. Cheers!”

ย่อหน้าที่สองจะปรับให้มีความตรงไปตรงมามากขึ้น โดยไม่มีวลีหรือหน่วยวัด แต่มีคำสแลงมากกว่า เช่น “hooligans” และ “pop champagne” 

• Paragraph 2 – “How do I buy tickets to the boat party? Do we need to pay in advance, or can we buy them at the dock when we arrive? I need to be on the upper deck because sometimes I get seasick when I’m too close to the water. Also, I want to be as far away as possible from the young hooligans who want to pop champagne constantly during the voyage. That’s dangerous and not my kind of fun!”

ผลลัพธ์ที่ได้ : AI Chatbots เอาชนะ Google Translate

จาก 12 ตัวอย่างที่ส่งให้ผู้เข้าร่วมทดสอบ พวกเขาชอบ Chatbot AI เช่น ChatGPT, Google Bard หรือ Microsoft Bing มากกว่า Google Translate โดยที่ ChatGPT จะติดอันดับแทบจะทั้งหมด

“ในความคิดของฉัน ChatGPT ใกล้เคียงกับการสนทนาปกติมากที่สุด” Ana Romero ผู้จัดอันดับของการแปลภาษาสเปนกล่าว

Google Bard ทำงานไม่ค่อยดีนัก แถมยังแจ้งว่า “I cannot translate languages” แต่แนะนำให้ใช้ Google Translate ซึ่งน่าจะเป็นความพยายามของ Google ที่จะไม่ให้มีการแข่งขันระหว่างผลิตภัณฑ์ของตัวเอง 

Chatbot ทั้งหมดต่ำกว่าความคาดหวัง สำหรับการแปลงในส่วนของสกุลเงินและการวัดระยะทางใน Paragraph แรก 

บทสรุป

ข้อผิดพลาดสำหรับ Google Translate คือการตีความตามตัวอักษร “มันเป็นการแปลแบบ ‘คำต่อคำ’ มากที่สุดในบรรดาเครื่องมือทั้งหมด Emile Saad ผู้จัดอันดับสำหรับการแปลภาษาอาหรับ กล่าว “สิ่งนี้ทำให้พลาดบริบทบางอย่าง ตัวอย่างเช่น ‘pop’ [in champagne] ถูกแปลว่า ‘กำลังจุดดอกไม้ไฟ'”

ในภาษาฝรั่งเศส Google Translate เก็บคำว่า “hooligans” เป็นภาษาอังกฤษไว้โดยที่ไม่มีการแปล ในขณะที่ Chatbot จะรู้จักใช้คำสแลงที่เหมาะสมกับวัฒนธรรมมากกว่า

ปรากฎว่า Chatbot ได้รับการออกแบบให้มีความโดดเด่นในเรื่องของบริบทการแปล ด้วยการที่โมเดลเหล่านี้มีแหล่งข้อมูลจำนวนมหาศาล และผู้ใช้จำนวนมากมีการโต้ตอบในภาษานั้น ทำให้พวกมันผ่านการเรียนรู้มามากว่า และสามารถระบุวลีที่เป็นพวกคำสแลงได้ดีขึ้น

“เคล็ดลับความสุดยอดของ Chatbot เช่น ChatGPT คือ RLHF (reinforcement learning with human feedback) ซึ่งเป็นการเรียนรู้เพิ่มเติมด้วยความคิดเห็นจากมนุษย์” Rajani จาก Hugging Face กล่าว 

“พวกมันสามารถรวบรวมรูปแบบการตอบสนองในบริบทต่างๆ ของมนุษย์ เช่น ความจริงใจ ความปลอดภัย การช่วยเหลือ ฯลฯ นั่นทำให้มันสามารถช่วยในการเลือกคำแปลที่เหมาะสม โดยเฉพาะอย่างยิ่งสำหรับผู้ที่ไม่ใช่เจ้าของภาษา”

โฆษกของ Google บอก PCMag ว่า Bard และ Google Translate มี “เทคโนโลยีพื้นฐานที่แตกต่างกัน ดังนั้นจึงไม่น่าแปลกใจที่พวกมันนอาจสร้างผลลัพธ์ที่แตกต่างกัน” Bard เป็นโมเดลภาษาขนาดใหญ่ที่ออกแบบมาเพื่อทำงานที่หลากหลาย ในขณะที่ Google Translate ได้รับการปรับให้เหมาะกับงานแปลโดยเฉพาะ

เทคโนโลยีอย่าง ChatGPT เป็นผู้นำในการแข่งแข่งที่ดุเดือดในเทคโนโลยีด้าน AI ในขณะนี้ ดังนั้นจึงไม่น่าแปลกใจเลยที่พวกมันสามารถแปลข้อความได้ดีกว่า Google Translate เนื่องจาก Google Translate อาจใช้เทคโนโลยีที่เก่ากว่า และมักจะมีการปรับให้สามารถทำงานได้อย่างรวดเร็วมากที่สุดนั่นเองครับผม

References :
https://www.pcmag.com/news/google-translate-vs-chatgpt-which-is-the-best-language-translator
https://www.windowseat.ph/best-translation-apps-for-your-next-international-travel-2023/