שפה טבעית מתארכת בהכרח כדי לפתור עמימות. במבנה ברור, העלות הזו נעלמת.
העלות של עמימות
“He went to the bank.”
7 טוקנים. קצר. נראה יעיל.
אבל המשפט הזה בלתי שמיש. לא ניתן להכניס אותו להקשר ההסקה של AI. כי הוא עמום.
מי הוא “he”? האם “bank” היא מוסד פיננסי או גדת נהר? מתי הוא הלך? למה הוא הלך?
הסקה מהמשפט הזה מייצרת ארבעה ענפי אי-ודאות. אי-ודאות מתפשטת דרך כל שלב הסקה עוקב. כשאי-ודאות שהתפשטה מוצגת כאילו היא ודאות, זו הזיה.
לכן שפה טבעית מנסה לפתור עמימות. הדרך היחידה לפתור היא להשתמש ביותר מילים.
העלות של הפתרון
נבחן גרסה לא עמומה של המשפט.
“קים צ’ולסו, ראש מחלקה בצוות הפיננסים של Samsung Electronics, ביקר בסניף קנגנם של בנק Shinhan ביום שני, 15 בינואר 2024, כדי לפתוח חשבון חברה.”
עכשיו אין עמימות. הנושא מוגדר. המיקום מוגדר. חותמת הזמן מצוינת. המטרה מצוינת.
אבל 7 טוקנים הפכו ל-40.
33 הטוקנים הנוספים הם לחלוטין עלות הסרת עמימות. הם אינם מידע חדש. הגדרת “he” כ"קים צ’ולסו, ראש מחלקה בצוות הפיננסים של Samsung Electronics" לא הוסיפה משמעות – היא הסירה עמימות.
בשפה טבעית, בהירות אינה חינמית. כדי להפוך לברור, צריך להפוך לארוך. זו תכונה מבנית של שפה טבעית.
למה שפה טבעית מתארכת בהכרח
שפה טבעית התפתחה לתקשורת בין בני אדם. בתקשורת אנושית, עמימות היא תכונה.
“הוא הלך לבנק, שמעתי.”
אם הדובר והמאזין חולקים את אותו הקשר, הם כבר יודעים מי “הוא” ואיזה “בנק.” 7 טוקנים מספיקים. עמימות היא מנגנון דחיסה. היא משמיטה בהסתמך על הקשר משותף.
הבעיה נוצרת בצד הפריסה.
כדי להעביר את ההודעה למישהו שלא חולק את ההקשר, חייבים לשחזר את כל מה שהושמט. שחזור מאריך.
בשפה טבעית, בהירות וקיצור הם מקח-וממכר. ברור אומר ארוך. קצר אומר עמום. לא ניתן לקבל את שניהם בו-זמנית.
זהו האילוץ היסודי של שפה טבעית.
ל-AI אין הקשר משותף
בשיחה בין בני אדם, עמימות יעילה. עשרות שנים של ניסיון משותף, רקע תרבותי וזרימת שיחה פותרים עמימות אוטומטית.
ל-AI אין את זה.
הטקסט בתוך חלון ההקשר של AI הוא כל מה שיש. הקשר מחוץ לטקסט לא קיים.
הכנס “He went to the bank” להקשר, ו-AI מתחיל להסיק עם ארבעה ענפי אי-ודאות. הוא בוחר את הפרשנות “הסבירה ביותר” ומקבל את הסיכון לטעות.
לכן שפה טבעית אינה מתאימה להקשר AI.
כתוב בבהירות ומספר הטוקנים מתפוצץ, מבזבז מקום בחלון. כתוב בקיצור והעמימות הופכת לחומר גלם להזיה.
כל עוד משתמשים בשפה טבעית, אין מוצא מהדילמה הזו.
בהירות מבנית כפתרון
כדי לפתור את הדילמה הזו, חייבים לשבור את המקח-וממכר בין בהירות וקיצור.
בשפה טבעית, זה בלתי אפשרי. פתרון עמימות דורש הוספת מילים.
אבל בייצוג ברור מבנית, זה אפשרי.
בשפה טבעית, הגדרת “קים צ’ולסו” דורשת כתיבת “קים צ’ולסו, ראש מחלקה בצוות הפיננסים של Samsung Electronics.” בייצוג מובנה, מזהה ייחודי אחד מספיק. המזהה ייחודי מטבעו. המשנה “צוות הפיננסים של Samsung Electronics” מיותר. משנים הם כלי הסרת עמימות עבור בני אדם – הם מיותרים עבור מכונות.
בשפה טבעית, פתרון האם “bank” אומר מוסד פיננסי או גדת נהר דורש כתיבת “בנק Shinhan, סניף קנגנם.” בייצוג מובנה, מזהה הישות מצביע על המוסד הפיננסי. עמימות נחסמת במקור על ידי המבנה.
בשפה טבעית, כדי לציין זמן צריך לכתוב “יום שני, 15 בינואר 2024”. בייצוג מובנה, ערך נכנס למקום המיועד לזמן. מכיוון שהמקום קיים, השמטה נראית כהשמטה. מכיוון שהערך מוגדר טיפוס, אין עמימות בפרשנות.
בבהירות מבנית עלות הסרת העמימות שואפת לאפס. המזהים חד-משמעיים, ולכן אין צורך בתיאורים. המקומות קיימים, ולכן השמטות נראות. הערכים מוגדרי טיפוס, ולכן הפרשנות דטרמיניסטית.
דחיסה היא תוצר לוואי של בהירות
כאן קורה משהו מעניין.
להפוך לברור מפיק קיצור.
בשפה טבעית, בהירות מאריכה דברים. בייצוג מובנה, בהירות מקצרת דברים.
למה?
כי רוב מה שמאריך משפטי שפה טבעית הוא עלות הסרת עמימות.
ב"קים צ’ולסו, ראש מחלקה בצוות הפיננסים של Samsung Electronics," “צוות הפיננסים של Samsung Electronics” ו"ראש מחלקה" אינם מידע – הם כלי זיהוי. משנים שמצמצמים מי “הוא.” עם מזהה ייחודי, כל המשנים האלה נעלמים.
ב"יום שני, 15 בינואר 2024," המילה “יום שני” מיותרת. 15 בינואר כבר קובע את יום השבוע. ובכל זאת בשפה טבעית, יתירות כזו מתווספת באופן מסורתי לבהירות. בשדה זמן מטופס, יתירות כזו בלתי אפשרית מבנית.
כתוצאה מבהירות מבנית, הביטוי הופך קצר יותר משפה טבעית.
זו לא דחיסה מכוונת. זו תוצאה של היעלמות עלות הסרת העמימות.
הפרדוקס של משפט בודד
יש משהו שצריך להודות בו בכנות כאן.
למשפט בודד, ייצוג מובנה יכול להיות ארוך יותר משפה טבעית.
“Yi Sun-sin היה גדול.”
בשפה טבעית זה נגמר ב-7 טוקנים. הפכו את זה לייצוג מובנה — Reference שמצביעה על היעד, Edge שקושר את ההיגד, רשומות שמצרפות מקור וזמן — והתקורה המבנית עלולה להיות גדולה מהמשפט עצמו.
זה נכון. יש עלות קבועה להטמעת בהירות במבנה.
אבל ככל שמספר ההצהרות גדל, מתרחש היפוך.
אם יש 100 הצהרות על Yi Sun-sin, שפה טבעית כותבת “Yi Sun-sin” 100 פעמים. בייצוג מובנה, מגדירים את צומת Yi Sun-sin פעם אחת ו-100 קשתות מפנות אליו.
אם 50 הצהרות מאותו מקור, שפה טבעית מצטטת את המקור בכל פעם או משמיטה אותו ונהפכת לעמומה. בייצוג מובנה, המטא-נתונים נקשרים פעם אחת.
ככל שהצהרות מצטברות, שיעורי שיתוף הצמתים עולים. ככל ששיעורי שיתוף עולים, הרווחים מבהירות מבנית גדלים.
כמה היגדים נדרשים כדי שהמהפך יתרחש תלוי בצורת ההיגדים. אבל בהנדסת הקשר, מה שנכנס לחלון הוא לעיתים רחוקות משפט או שניים; בדרך כלל זו חבילת היגדים שחולקים את אותם יעדים ואת אותם מקורות.
ויש משהו חשוב יותר מאורך. ערכו של ייצוג מובנה טמון פחות בקיצורו ויותר בכך שאפשר למצוא אותו.
תגובת השרשרת שבהירות יוצרת
בהירות לא רק מייצרת דחיסה.
אינדוקס נעשה אפשרי. כשיש מזהים חד-משמעיים, חיפוש מדויק נעשה אפשרי. חיפוש “הכנסות Apple” אינו מעלה “ערכים תזונתיים של תפוח”. המזהים הם מספרים שלמים, ולכן החיפוש הוא השוואת מספרים וחיפוש טווחים, בלי השוואת מחרוזות.
אימות הופך לאפשרי. כשהמבנה מטופס, “האם זהו ביטוי תקף?” ניתן לשפוט מכנית. בשפה טבעית, מושג “משפט לא תקף” אינו קיים. במבנה ברור, אם שדה נדרש ריק, הוא לא תקף.
בדיקת עקביות נעשית אפשרית. כשהיגדים על אותה ישות חד-משמעיים, אפשר לקבוע באופן מכני “האם שני ההיגדים סותרים זה את זה?”. בשפה טבעית, כדי לדעת אם “המנכ"ל הוא A” ו"המנכ"ל הוא B" סותרים, הבינה המלאכותית חייבת לקרוא את שני המשפטים ולהסיק. במבנה בהיר — אותה ישות, אותו יחס, ערכים שונים — מכונה מוצאת זאת.
בהירות היא התנאי המקדים לצינור הנדסת ההקשר כולו. אינדוקס, אימות, סינון, בדיקת עקביות – שום דבר מזה לא עובד אם המידע אינו ברור.
בהירות אינה שלב אחד בצינור. היא התנאי שמאפשר את הצינור.
סיכום
בשפה טבעית, בהירות וקיצור הם מקח-וממכר. ברור אומר ארוך. קצר אומר עמום.
ל-AI אין הקשר משותף. עמימות שפה טבעית הופכת לחומר גלם להזיה. פתרון עמימות מנפח מספר טוקנים ומבזבז את החלון.
ייצוג בהיר מבנית שובר את הפשרה הזו. מזהים ייחודיים חוסמים עמימות במקור. מקומות מוגדרי טיפוס חושפים השמטות. כשעלות הסרת העמימות נעלמת, הדחיסה מגיעה כתוצר לוואי.
בהירות היא התנאי המקדים להנדסת הקשר. אם המידע אינו ברור, אינדוקס, אימות ובדיקת עקביות לא עובדים.
דחיסה אינה המטרה. בהירות היא המטרה. דחיסה עוקבת.