מילה אחת חודרת לשלושה עולמות


שלושה עולמות

במדעי המחשב קיימים שלושה עולמות.

עולם הרשתות. נתונים זורמים כזרמי בתים. בתים נכנסים דרך שקעי TCP, ובתים יוצאים. אוצר המילים של מהנדס הרשת הוא פקטות, כותרות ומטענים.

עולם האחסון. נתונים נשמרים בפורמטי קבצים. נכתבים לדיסק, נקראים מהדיסק. אוצר המילים של מהנדס האחסון הוא בלוקים, היסטים ויישור.

עולם ה-AI. נתונים מעובדים כרצפי טוקנים. LLM-ים מקבלים טוקנים ומפיקים טוקנים. אוצר המילים של מהנדס ה-AI הוא הטמעות, קשב והקשר.

שלושת העולמות מדברים שפות שונות. וביניהם, תרגום נדרש תמיד.


עלות התרגום

נעקוב אחר הנתיב שנתונים עוברים במערכת AI מודרנית.

ידע מאוחסן בקובץ. כ-JSON או טקסט רגיל.

כדי להעביר את זה ל-AI:

  1. פתח את הקובץ וקרא את הטקסט.
  2. נתח את הטקסט. אם זה JSON, פרש את המבנה וחלץ שדות.
  3. הזן את הטקסט שחולץ לטוקנייזר.
  4. הטוקנייזר ממיר את הטקסט לרצף מזהי טוקנים.
  5. רצף הטוקנים מוזן ל-LLM.

כשה-AI מייצר תשובה:

  1. ה-LLM מוציא רצף טוקנים.
  2. פענוח הטוקנים חזרה לטקסט.
  3. סריאליזציה של הטקסט לפורמט מובנה.
  4. כתיבת הנתונים המסודרים לקובץ.

פעולת “קריאה וכתיבה” פשוטה דורשת תשעה שלבים.

כל שלב עולה זמן. כל שלב עולה זיכרון. כל שלב מסכן אובדן מידע.

שלבים 3 ו-4 – תהליך הטוקניזציה – בעייתיים במיוחד. כיוון שגבולות המילים בשפה טבעית לא מתיישרים עם גבולות הטוקנים של הטוקנייזר, שם פרטי כמו “Yi Sun-sin” עלול להתפצל לשברים שרירותיים, או שיחידה סמנטית אחת מתפזרת על פני מספר טוקנים.

זו המחיר של שלושה עולמות שמדברים שפות שונות.


מה אם יחידה אחת חדרה לכל שלושת העולמות?

בשפה הזו, מילה אחת היא 16 ביטים (2 בתים).

מילה אחת בת 16 ביטים תוכננה למלא שלושה תפקידים בבת אחת.

יחידת זרם הבתים. מילים בנות 16 ביטים זורמות ברצף ברשת. Big Endian. מיושרות ל-2 בתים. מספיק לקרוא אותן בסדר הגעתן.

יחידת פורמט הקובץ. כתבו את הזרם כמות שהוא לדיסק — זה הקובץ שלכם. קראו את הבתים מהדיסק ושלחו אותם כמות שהם ברשת — זה הזרם שלכם. בלי סריאליזציה. בלי דה-סריאליזציה.

יחידת אוצר המילים של LLM. 16 ביטים = 65,536 סמלים. גודל אוצר המילים של מודלי LLM מודרניים נע בין עשרות אלפים למאות אלפים. GPT-2 משתמש בכ-50,000; מודלים חדשים בכ-100,000 עד 200,000. 65,536 נמצא בתוך הטווח הזה. מילה בת 16 ביטים היא יחידה בגודל ש-LLM יכול ללמוד כאוצר מילים.

שלושה עולמות חולקים את אותה יחידה. התרגום מצטמצם.


הזרם הוא הקובץ

נראה מה זה אומר בפועל.

הגישה המקובלת: 9 שלבים

[File] -> Read -> Parse -> Extract text -> Tokenize -> [LLM]
[LLM] -> Decode -> Serialize -> Write -> [File]

הגישה של GEUL

[Stream] = [File]                          same bytes
[File] -> read record by record, skipping  no codebook needed

כתבו זרם כמות שהוא — זה קובץ. שלחו קובץ כמות שהוא — זה זרם. בלי סריאליזציה ובלי דה-סריאליזציה. המילה הראשונה של כל רשומה (TAG WORD) מוסרת את סוגה ואת אורכה, ולכן רשומות שאין בהן צורך מדולגות בלי לפרש אותן.

הצד של LLM הוא עדיין יעד. מילה אחת אינה טוקן אחד. רשומה משתרעת על כמה מילים, והטקסט נישא כרצף בתים. ובכל זאת, כשהיחידה קבועה על 16 ביטים, הטוקנייזר אינו צריך לנחש גבולות; הוא הולך לפי גבולות שכבר נתונים. “יי סון-סין” אינו נחתך במקום שרירותי, כי הוא רשומת Reference אחת שמצביעה על ויקינתונים Q50184.


למה לא 8 ביט?

8 ביט נותנים לך 256 סמלים שונים.

256 סמלים הם מעט מדי לייצג את העולם. הקצה את האלפבית, הספרות ופיסוק בסיסי, וחצי מהמרחב כבר נגמר.

אם אתה משתמש ב-8 ביט כיחידה בסיסית, רוב הטוקנים המשמעותיים בסופו של דבר דורשים 2 בתים או יותר. זה מאלץ קידוד באורך משתנה, ואורך משתנה הופך את הניתוח למורכב.

מתאים כיחידת זרם בתים, אבל לא מספיק כיחידת טוקן.


למה לא 32 ביט?

32 ביטים נותנים כ-4.3 מיליארד סמלים.

כוח הביטוי יותר ממספיק. אבל הבעיה היא יעילות.

הרשומה הקטנה ביותר בשפה הזו היא מילה אחת: סמנים כמו BODY ו-END שמורכבים מ-TAG WORD יחיד. Reference לוויקינתונים Q42 היא 2 מילים, ו-TRIPLE אחד שאומר “Q42 הוא אדם” הוא 10 מילים. במילים של 16 ביטים ה-TRIPLE הזה תופס 20 בתים. במילים של 32 ביטים — 40. אותה רשומה מכפילה את גודלה.

גם מנקודת המבט של LLM יש בעיה. אוצר מילים של 32 ביטים, 4.3 מיליארד סמלים, גדול פי עשרות אלפים מאוצר המילים של כל LLM. אין לא נתונים ולא מודלים ללמוד אוצר מילים כזה.

מילה בת 32 ביטים מוגזמת כיחידה של השפה הזו.


למה לא אורך משתנה?

UTF-8 הוא קידוד באורך משתנה. אורך התו נע מבית אחד ל-4 בתים, תלוי בתו.

יש לזה יתרונות ביעילות אחסון, אבל זה מכניס חולשה קריטית ביעילות עיבוד.

כדי למצוא את התו ה-n, צריך לספור מההתחלה. גישה אקראית בלתי אפשרית. עיבוד מקבילי SIMD הופך לקשה.

שפה זו משתמשת במילים קבועות-רוחב בנות 16 ביט כיחידה הבסיסית. המיקום של המילה ה-n הוא תמיד n * 2 בתים. גישה אקראית היא O(1). SIMD יכול להשוות מספר מילים בפקודה אחת. GPU-ים יכולים לסרוק מיליארדי מילים במקביל.

ועם זאת, ברמת הרשומה מותר אורך משתנה. רשומות נעות ממילה אחת עד 2³²−1 מילים, והאורך כתוב במילה הראשונה. יחידת המילה קבועה, אבל יחידת הרשומה גמישה.

יעילות העיבוד של רוחב קבוע בשילוב עם כוח הביטוי של אורך משתנה. מילת ה-16 ביט משיגה את שניהם בו-זמנית.


הנתיב שיוניקוד הוכיח

יוניקוד הוא תקן הקידוד המוצלח ביותר שהאנושות יצרה.

היחידה הבסיסית של UTF-16 היא 16 ביטים (2 בתים). התווים של המישור הרב-לשוני הבסיסי (BMP) מיוצגים במילה אחת, ושאר התווים מורחבים בזוגות חלופיים (2 מילים = 4 בתים).

GEUL הולכת באותו מבנה. פורמטים נפוצים נישאים כקוד ישיר בתוך TAG WORD יחיד, ופורמטים נדירים מורחבים ב-TAG הרחבה.

כשם שיוניקוד מבטא את כל התווים בעולם על גבי היחידה הבסיסית “תו אחד = 2 בתים”, GEUL מבטאת טענות, את מקורותיהן ואת נימוקיהן על גבי היחידה הבסיסית “מילה אחת = 2 בתים”.


תאימות לאחור והרחבה כלפי מעלה

יתרון נוסף של 16 ביט הוא היישור.

16 הוא כפולה של 8, מחלק של 32, מחלק של 64 ומחלק של 128.

זה אומר שהיישור לעולם לא נשבר, לא משנה לאיזה כיוון מרחיבים.

מה אם ארכיטקטורת הטרנספורמר תשתנה בעתיד והטוקנים יהפכו ל-32 ביט? שתי מילים בנות 16 ביט מהוות טוקן אחד. ללא בעיות יישור.

מה לגבי 64 ביט? ארבע מילים בנות 16 ביט מהוות טוקן אחד. עדיין ללא בעיות יישור.

ולהפך, מה אם מערכת משובצת של 8 ביט מעבדת את הפורמט הזה? פשוט קרא כל מילה בת 16 ביט כבית עליון ובית תחתון.

תאימות לאחור חייבת להישמר באופן מוחלט. מילת ה-16 ביט מבטיחה זאת ברמה הפיזית.

אנחנו לא יכולים לחזות את גודל המילה של אינטליגנציות עתידיות, אבל יישור הכפולות של 16 ביט מבטיח תאימות עם כל גודל.


המבנה המשולש

נסכם.

מילה אחת בת 16 ביטים תוכננה להיות היחידה של שלושה עולמות.

עולםתפקיד המילה
רשתיחידת זרם הבתים
אחסוןיחידת פורמט הקובץ
בינה מלאכותיתיחידת אוצר המילים של LLM (יעד)

יחידה אחת חוצה את שלושת העולמות.

שמרו זרם כמות שהוא — זה קובץ. שלחו קובץ כמות שהוא — זה זרם. לשלב אותה עם LLM מילה אחר מילה — זה הצעד הבא.

פחות המרה. פחות תרגום. פחות אובדן.

זו הסיבה ל-16 ביטים. לא 8, לא 32, לא אורך משתנה. המספר שנמצא בדיוק בצומת של שלושה עולמות.