การสอนให้เครื่องจักรเรียนรู้ 149,000 คำ ใน 22 ภาษา

คำเดียว และทุกรูปแบบที่มันปรากฏ

WordChess เล่นบนกระดานขนาด 25×25 โดยใช้ 148,941คำ ภาษาอังกฤษ พจนานุกรม⁶, รายการคำเฉลี่ย 8.6 ตัวอักษร บางคำยาวถึง 25 ตัวอักษร นั่นคือส่วนที่ง่าย รายการของคำที่ถูกต้องเป็นเพียงชุดของสตริงที่เกมจะยอมรับ ส่วนที่น่าสนใจคือการบอกผู้เล่นว่าสตริงบนกระดาน มีความหมายว่าอะไร, และทำเช่นนั้นพร้อมกันข้าม 22 ภาษา

นักพจนานุกรมขีดเส้นแบ่งอย่างชัดเจนระหว่าง เลมมา และรูปผันของมัน เลมมาคือคำหลักที่คุณค้นหา run, house, be. รอบๆ มันมีพาราดิกม์ของรูปปรากฏการณ์โคจรอยู่: runs, ran, running. แต่ละรูปมีความหมายหลักเดียวกัน แต่แต่งตัวสำหรับบทบาททางไวยากรณ์ที่แตกต่างกัน³ พจนานุกรมใช้เนื้อความอธิบายเลมมา และปล่อยให้ความเงาทำหน้าที่ชี้ทางกลับบ้าน

จำนวนเงาที่คำหนึ่งคำจะทอดไว้ขึ้นอยู่กับภาษา อังกฤษเป็น วิเคราะห์: มันพึ่งพาเรียงลำดับคำและคำช่วยเล็กๆ น้อยๆ ดังนั้นคำกริยาจึงมักมีรูปผันเพียงไม่กี่รูป ฟินแลนด์ เป็น กาว, มันสร้างความหมายโดยการติดคำลงท้ายเข้ากับรากคำ คำนามฟินแลนด์เพียงคำเดียว ผันได้ราวสิบห้ากรณี, ทั้งเอกพจน์และพหูพจน์ ก่อนที่คำลงท้ายแสดงความเป็นเจ้าของและคำต่อท้ายจะซ้อนทับกันขึ้นไป; จำนวนรูปคำที่แตกต่างกันในทางปฏิบัติมีนับเป็นพัน⁴ ภาษาฮังการี บรรจุวลีภาษาอังกฤษทั้งวลี, ในบ้านของฉัน, เข้าไปในคำเดียว házamban.⁵

ที่ซึ่งคำนิยามอาศัยอยู่

คำนิยามมาจาก Wiktionary, พจนานุกรมเสรีที่ใครก็ได้สามารถแก้ไขได้ มัน มีขนาดมหึมาและรองรับหลายภาษา: โครงการครอบคลุมฉบับภาษาที่ใช้งานอยู่กว่าร้อยภาษาและรายการหลายสิบล้านรายการ ซึ่งเขียนร่วมกันโดยอาสาสมัครแทนที่จะเป็นกองบรรณาธิการที่ได้รับค่าตอบแทน¹ สำหรับเกมที่มีภาษาให้เลือกถึง 22 ภาษา ไม่มีพจนานุกรมเสรีอื่นใดที่ใกล้เคียงในแง่ของขอบเขตการครอบคลุม

แต่การครอบคลุมบนกระดาษไม่ใช่การครอบคลุมที่คุณสามารถอ่านออกเสียงได้ Wiktionary จัดเก็บรูปคำผันในลักษณะที่ช่วยประหยัดแรงบรรณาธิการมนุษย์จากการต้องเขียนคำอธิบายเดียวกันซ้ำหลายหมื่นครั้ง แทนที่จะเขียนคำนิยามออกมาให้ครบถ้วน รายการที่ไม่ใช่รูปคำมาตรฐานจะประกอบด้วย เทมเพลตรูปคำ, ตัวชี้ขนาดเล็กที่กล่าวโดยนัยว่า "นี่คือรูปไวยากรณ์เฉพาะของรูปคำมาตรฐานนั้น"² รายการสำหรับ smoulders ไม่ใช่ข้อความเชิงพรรณนา แต่เป็นเทมเพลตที่แสดงผลเป็น "รูปเอกพจน์บุรุษที่สามของปัจจุบันกาลธรรมดาของ smoulder"¹

ตัวชี้เหล่านี้ไม่ใช่ข้อผิดพลาดจากการปัดเศษ ในวิกิพจนานุกรมภาษาอังกฤษ จากคำนิยามประมาณ 1.27 ล้านรายการ มีประมาณ 478,000 รายการ ซึ่งมากกว่าหนึ่งในสาม เป็นคำนิยามแบบ "รูปของ" แทนที่จะเป็นความหมายที่เขียนออกมาอย่างชัดเจน¹ ข้อมูลนั้นมีอยู่ เพียงแต่ถูกพับเก็บไว้

คำอธิบายกำลังขยายเทมเพลต

ดังนั้น ความท้าทายที่สำคัญจึงไม่เคยเป็น "คำศัพท์นั้นหายไป" แต่เป็นเพราะความหมายของคำนั้นซ่อนอยู่ในเทมเพลตที่โปรแกรมวิเคราะห์แบบง่ายจะทิ้งไป คำนิยามของ WordChess ถูกสร้างขึ้นโดยการอ่าน ข้อมูลดิบจากวิกิพจนานุกรม และ ขยายเทมเพลตการผันคำ ทีละภาษา สอนให้โปรแกรมวิเคราะห์เข้าใจว่าตัวชี้แต่ละตัวหมายถึงอะไร และเขียนใหม่เป็นคำอธิบายแบบเรียบง่าย⁶

ทุกภาษาซ่อนรูปคำไว้หลังกลไกที่แตกต่างกัน สเปนซ่อนรูปคำกริยาไว้หลัง {{forma verbo}}ซึ่งถูกแปลงเป็น "รูปคำกริยาของ X" เยอรมนีใช้ {{Grundformverweis Dekl/Konj}} สำหรับรูปคำที่ผันตามเพศและรูปคำกริยาที่ผันตามกาล ฟินแลนด์พึ่งพา {{taivutusmuoto}}. ภาษารัสเซียมักไม่เก็บเทมเพลตรูปคำไว้เลย คำที่ผันรูปจะเป็นคำเปล่า การเปลี่ยนเส้นทาง (собаки → собака) ที่ต้องติดตามไปเพื่อค้นหาความหมายในลักษณะ "รูปของ"⁶ จัดการกับแต่ละข้อตกลง และขอบเขตการครอบคลุมจะเพิ่มขึ้นอย่างมาก

วัดจากบันทึกการออกแบบและการสร้างของโปรเจกต์นี้ ร้อยละคือสัดส่วนของรายการในพจนานุกรมที่มีคำนิยามที่ใช้ได้หรือความหมาย "รูปของ" ที่ได้รับการแก้ไขแล้ว

สตริงหนึ่ง และประโยคเกี่ยวกับมัน

มันคุ้มค่าที่จะพูดความจริงเกี่ยวกับสิ่งที่เกมมีอยู่ในปัจจุบัน เมื่อ WordChess แสดงว่า собаки เป็นรูปหนึ่งของ собакаซึ่งแปลว่า "สุนัข" มันไม่ได้เข้าใจอะไรเลย มันได้แมปสตริงหนึ่งไปยังอีกสตริงหนึ่ง ซึ่งคือคำอธิบายความหมาย โดยทำตามตัวชี้ที่บรรณาธิการมนุษย์ทิ้งไว้เบื้องหลัง นี่คือ lemmatizationซึ่งเป็นเครื่องมือหลักของการประมวลผลภาษาธรรมชาติ: การลดรูปพื้นผิวลงเป็นรูปฐาน เพื่อให้เครื่องจักรมีสิ่งต่าง ๆ ที่ต้องติดตามน้อยลง⁷

นั่นเป็นรูปแบบของการรู้ที่แท้จริงและมีประโยชน์ มันทำให้เกมสามารถตอบคำถามว่า "คำนี้คืออะไร?" ได้ทั้งในเอเธนส์หรืออัมสเตอร์ดัม โดยไม่ต้องมีนักภาษาศาสตร์ประจำทีม แต่เป็นการรู้ในลักษณะการค้นหาคำศัพท์ ไม่ใช่การรู้ในลักษณะความหมาย คำอธิบายความหมายคือคำมั่นสัญญาว่าบุคคลที่อ่านมันจะจดจำคำนั้นได้ เครื่องจักรถือคำมั่นสัญญานั้นไว้ ส่วนผู้อ่านเป็นผู้ให้ความรู้สึก