สอนเครื่องให้รู้จักคำ 149,000 คำ ใน 22 ภาษา

คำหนึ่งคำ กับทุกรูปร่างที่มันเป็นได้

WordChess เล่นบนกระดานขนาด 25×25 พร้อมพจนานุกรมภาษาอังกฤษ 148,941 คำ ⁶ โดยแต่ละรายการยาวเฉลี่ย 8.6 ตัวอักษร และคำที่ยาวที่สุดยาวถึง 27 ตัว นั่นคือส่วนที่ง่าย รายการคำที่ถูกกติกาเป็นเพียงชุดของสตริงที่เกมยอมรับ ส่วนที่น่าสนใจคือการบอกผู้เล่นว่าสตริงบนกระดานหมายความว่าอะไร และทำเช่นนั้นในยี่สิบสองภาษาพร้อมกัน

นักทำพจนานุกรมขีดเส้นแบ่งชัดเจนระหว่างเลมมา (lemma) กับรูปผันของมัน เลมมาคือคำหลักที่คุณเปิดหา เช่น run (วิ่ง), house (บ้าน), be (เป็น) รอบ ๆ มันมีชุดรูปผัน (paradigm) ของรูปคำที่ปรากฏจริงโคจรอยู่ เช่น runs, ran, running แต่ละรูปมีความหมายแกนเดียวกัน เพียงแต่งตัวต่างกันไปตามบทบาททางไวยากรณ์ ³ พจนานุกรมทุ่มถ้อยคำให้กับเลมมา และปล่อยให้เงาทั้งหลายชี้กลับไปหาบ้านของมัน

คำหนึ่งจะทอดเงาไว้มากเพียงใดขึ้นอยู่กับภาษา ภาษาอังกฤษเป็นภาษาแบบวิเคราะห์ (analytic) ที่อาศัยลำดับคำและคำช่วยเล็ก ๆ กริยาจึงแทบไม่มีรูปเกินกว่าไม่กี่รูป ภาษาฟินแลนด์เป็นภาษาคำติดต่อ (agglutinative) ที่สร้างความหมายด้วยการต่อปัจจัยเข้ากับรากคำ คำนามภาษาฟินแลนด์คำเดียวผันได้ราวสิบห้าการก ทั้งในรูปเอกพจน์และพหูพจน์ ก่อนที่ปัจจัยแสดงความเป็นเจ้าของและคลิติกจะซ้อนทับเข้าไปอีก จำนวนรูปที่แตกต่างกันในทางปฏิบัติจึงขึ้นไปถึงหลักพัน ⁴ ภาษาฮังการีอัดวลีภาษาอังกฤษทั้งวลีอย่าง in my house (ในบ้านของฉัน) ไว้ในคำเดียวคือ házamban ⁵

คำนิยามอยู่ที่ไหน

คำนิยามมาจาก Wiktionary พจนานุกรมเสรีที่ใครก็แก้ไขได้ มันใหญ่โตมหาศาลและมีหลายภาษา โครงการนี้ครอบคลุมรุ่นภาษาที่ยังเคลื่อนไหวอยู่กว่าหนึ่งร้อยรุ่น และมีรายการคำนับสิบล้านรายการ เขียนร่วมกันโดยอาสาสมัคร ไม่ใช่คณะบรรณาธิการที่ได้รับค่าจ้าง ¹ สำหรับเกมที่ทำงานใน 22 ภาษา ไม่มีคลังคำเสรีอื่นใดที่ครอบคลุมได้ใกล้เคียง

แต่ความครอบคลุมบนกระดาษไม่ใช่ความครอบคลุมที่คุณอ่านออกมาได้ Wiktionary จัดเก็บรูปผันในแบบที่ช่วยให้บรรณาธิการมนุษย์ไม่ต้องเขียนคำอธิบายเดิมซ้ำเป็นหมื่นครั้ง แทนที่จะเขียนคำนิยามออกมา รายการที่ไม่ใช่เลมมาจะมีเทมเพลตแบบ form-of ซึ่งเป็นตัวชี้เล็ก ๆ ที่มีความหมายว่า “นี่คือรูปทางไวยากรณ์แบบหนึ่งของเลมมานั้น” ² รายการของคำ smoulders ไม่ใช่ข้อความร้อยแก้ว แต่เป็นเทมเพลตที่แสดงผลออกมาเป็น “third-person singular simple present form of smoulder” (รูปปัจจุบันกาลธรรมดา บุรุษที่สาม เอกพจน์ ของ smoulder ที่แปลว่าคุกรุ่น) ¹

ตัวชี้เหล่านี้ไม่ใช่เศษเล็กเศษน้อย ใน Wiktionary ภาษาอังกฤษ จากคำนิยามราว 1.27 ล้านรายการ มีราว 478,000 รายการ หรือมากกว่าหนึ่งในสามอย่างชัดเจน ที่เป็นคำนิยามแบบ “form of” แทนที่จะเป็นความหมายที่เขียนออกมาเต็ม ๆ ¹ ข้อมูลมีอยู่ เพียงแต่ถูกพับเก็บไว้

คำอธิบายคือการคลี่เทมเพลตออก

ดังนั้นความท้าทายที่สำคัญจึงไม่เคยเป็น “คำนั้นหายไป” แต่เป็นเพราะความหมายของคำนั้นซ่อนอยู่ในเทมเพลตที่ตัวแยกวิเคราะห์ (parser) แบบซื่อ ๆ จะโยนทิ้ง คำนิยามของ WordChess สร้างขึ้นด้วยการอ่านไฟล์ดัมป์ดิบของ Wiktionary และขยายเทมเพลตการผันคำทีละภาษา สอนตัวแยกวิเคราะห์ว่าตัวชี้แต่ละตัวหมายถึงอะไร แล้วเขียนมันใหม่เป็นคำอธิบายธรรมดา ⁶

แต่ละภาษาซ่อนรูปคำไว้หลังกลไกที่ต่างกัน ภาษาสเปนเก็บรูปกริยาไว้หลัง {{forma verbo}} ซึ่งถูกแปลงเป็น “verbal form of X” (รูปกริยาของ X) ภาษาเยอรมันใช้ {{Grundformverweis Dekl/Konj}} สำหรับรูปที่ผันตามการกและผันกริยา ภาษาฟินแลนด์อาศัย {{taivutusmuoto}} ส่วนภาษารัสเซียมักไม่เก็บเทมเพลตรูปคำไว้เลย คำที่ผันแล้วเป็นเพียงการเปลี่ยนเส้นทางเปล่า ๆ (собаки → собака) ที่ต้องตามไปจึงจะได้คำอธิบายแบบ “form of” กลับมา ⁶ จัดการกับแต่ละธรรมเนียมให้ได้ แล้วความครอบคลุมจะพุ่งขึ้น

วัดจากบันทึกการออกแบบและการสร้างของโปรเจกต์นี้ ร้อยละคือสัดส่วนของรายการในพจนานุกรมที่มีคำนิยามใช้งานได้ หรือมีคำอธิบายแบบ “form of” ที่แปลงแล้ว

สตริงหนึ่งสตริง กับประโยคหนึ่งประโยคที่อธิบายมัน

ควรพูดกันตรง ๆ ว่าตอนนี้เกมมีอะไรอยู่ในมือ เมื่อ WordChess แสดงว่า собаки เป็นรูปหนึ่งของ собака ที่แปลว่า “สุนัข” มันไม่ได้เข้าใจอะไรเลย มันเพียงจับคู่สตริงหนึ่งเข้ากับอีกสตริงหนึ่ง คือคำอธิบาย โดยตามตัวชี้เดียวกับที่บรรณาธิการมนุษย์ทิ้งไว้ นี่คือการหาเลมมา (lemmatization) ม้างานของการประมวลผลภาษาธรรมชาติ คือการลดรูปคำที่ปรากฏจริงให้เหลือรูปฐาน เพื่อให้เครื่องมีสิ่งที่แตกต่างกันต้องติดตามน้อยลง ⁷

นั่นเป็นการรู้แบบหนึ่งที่มีอยู่จริงและมีประโยชน์ มันทำให้เกมตอบได้ว่า “คำนี้คืออะไร” ไม่ว่าในเอเธนส์หรืออัมสเตอร์ดัม โดยไม่ต้องมีนักทำพจนานุกรมประจำทีม แต่มันคือการรู้แบบเปิดหา ไม่ใช่การรู้แบบเข้าใจความหมาย คำอธิบายคือคำสัญญาว่าคนที่อ่านมันจะจำคำนั้นได้ เครื่องถือคำสัญญาไว้ ส่วนผู้อ่านเป็นผู้เติมความหมาย