SILK הוא מנוע אינדוקס וחיפוש ייעודי ל-GEUL. בלי לפענח מסמכי GEUL במלואם, הוא עונה על שאילתות כמו “אילו מסמכים קובעים שהעיסוק (P106) הוא פיזיקאי (Q169470)?” באמצעות אינדקסי רשומות בלבד.

מצבפיתוח מוקדם. אלגוריתמי החיפוש נמצאים בשלב אימות, והפורמטים עשויים להשתנות עד הגרסה הראשונה
שפהGo
קלטארכיוני GEUL pack (ללא דחיסה)
רישיוןCC0
מאגרgithub.com/geul-org/silk

הטענה המרכזית

החיפוש מעולם לא היה החלק הקשה. הבעיה הייתה נתונים חסרי מבנה.

הגישה המקובלת: קודם כותבים ← אחר כך משערים את המבנה (טוקניזציה, הטמעות, ניתוח)
GEUL: מבנים בזמן הכתיבה ← מהחיפוש נשארות רק השוואת מספרים שלמים וסריקת טווחים

רשומת GEUL כבר מכילה שדות כמו נושא, נשוא, מושא ושפה, כמזהים שלמים במיקומים קבועים. SILK רק שולף את השדות האלה ושומר אותם ממוינים.

מדוע זה מתאים ל-GEUL

תכונה של GEULמה SILK מרוויח
TAG WORD יחיד של 16 סיביות נושא את הסוג (Kind·Codec) ואת האורךאפשר לסנן רשומות ולדלג עליהן בלי ספר קודים
השדות של Edge הם רשומות במיקומים קבועיםהמפתחות נשלפים לפי מיקום. אין צורך בכללי פענוח נפרדים
אוצר המילים המבוקר הוא מזהים שלמים (Q, P, שפה)השוואת שוויון נעשית על מספרים שלמים, בלי נרמול מחרוזות
pack מורכב מאובייקטים בלתי ניתנים לשינוי ומדורותגם האינדקס נבנה מסגמנטים בלתי ניתנים לשינוי ומדורות, ולכן תמונות המצב בטוחות
ההמרה דטרמיניסטיתאותו קלט מניב אותו אינדקס. אפשר להשוות את התוצאה האינקרמנטלית בית אחר בית לאינדקס שנבנה מאפס

מסמכי GEUL אינם ממוינים מחדש. האינדקס הוא רק תצוגה (view) ממוינת; הבתים שפורסמו, גיבובי התוכן והחתימות נשארים כפי שהם.

מבנה

קלט

SILK קורא ארכיוני GEUL pack באמצעות gogeul. מכיוון שהאינדקס מצביע על מיקומי בתים בתוך data pack, הסט חייב לאחסן את הרשומות ללא דחיסה (GEULCOMPRESS=none). דחיסת zstd מיועדת להפצה ולשימור; שכבת החיפוש משתמשת ב-pack לא דחוס.

מפרט המחיצות

לכל סוג TAG מוצהרים מפתח מחיצה ומפתח מיון כשדות במיקום קבוע ברשומה. דבר כמו נשוא או שפה אינו מקודד בקשיחות; הטבלה שלהלן מציגה את ברירות המחדל למסמכי Wikidata.

TAGמפתח מחיצהמפתח מיון
TRIPLEנשוא (Predicate)מושא (Object)
QUALIFIERמאפיין (Property)ערך (Value)
LABEL·ALIAS·DESCRIPTIONשפהנושא (Subject)
SOURCEאיןמקור (Origin)
REFERENCE-NODEאיןמושא (Object)
  • מפתח הוא הבתים הראשונים (משבצת) של רשומת השדה. אם הרשומה נכנסת במשבצת, השוויון מדויק; אם היא ארוכה יותר, המפתח רק בוחר מועמדים.
  • אימות המפרט דוחה כמפתח מחיצה שדה שמיקומו ידוע רק בעזרת ספר קודים, או שדה שאורכו בלתי מוגבל.
  • מפרט מזוהה לפי גיבוב התוכן שלו. כשהמפרט משתנה, נבנה מחדש רק אותו TAG.

ריצות, עדכונים אינקרמנטליים ומיזוג

רכיבתפקיד
ריצה ממוינתסגמנט בלתי ניתן לשינוי הממוין לפי (מפתח מיון, מסמך, היסט) בכל מחיצה. נסרק בחיפוש בינארי
סגמנט מצורףמכיל רק את הגרסאות החדשות מעדכון אינקרמנטלי (silk index update). נסרק ברצף
מפת סיביות של גרסאות חיותמסמנת גרסאות ישנות של מסמכים שהשתנו כמתות במקום למחוק אותן
מיזוג לפי דרגות גודלממזג ריצות מאותה דרגת גודל במיזוג O(n), וכשיש הרבה שורות מתות ממזג עד לריצת הבסיס
דורדור המניפסט מוחלף באופן אטומי. הקורא מקבע דור, כך שתמונת המצב נשמרת גם במהלך מיזוג

אפשר להגביל את המיזוג לזמני סרק בלבד (-idle, תוך השארת 30% מה-CPU ומהזיכרון פנויים). הוא נעצר בגבולות מחיצה וממשיך מנקודת ביקורת.

שאילתות

  1. תנאי שוויון: מאתרים את המחיצה ומבצעים חיפוש בינארי בריצות הממוינות.
  2. מספר תנאים: צירוף במיזוג (merge join) לפי המסמך (הנושא). כל התנאים חייבים להתקיים בתוך מסמך אחד.
  3. אימות מדויק: מפענחים את רשומות המועמדים עם gogeul, משווים שדה אחר שדה וקוראים את ה-Edge Id.
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE

מדידות

נמדד על Wikidata Q1–Q10000 ועל 16,696 מסמכי מאפיינים (271MB, 7.07 מיליון רשומות אינדקס). 8 תהליכונים, התוצאה הטובה מתוך 7 הרצות, ללא זמן הפעלת התהליך.

שאילתות

שאילתהמסמכים בתוצאההשיטה הקודמת (סריקה מלאה)אינדקס SILK
P106=Q169470 (עיסוק = פיזיקאי)55~20ms0.12ms
P31=Q5 (אדם)1,579~19ms~1ms
אדם + פיזיקאי54~38ms~1ms
LABEL ko9,746(לא אפשרי)~4ms
  • השיטה הקודמת סרקה במלואה את מפת רשומות ה-TRIPLE.
  • ב-LABEL ko רוב הזמן מוקדש לקריאת 9,746 רשומות מה-pack לצורך אימות מדויק.

גודל, בנייה ועדכון אינקרמנטלי

פריטערך
גודל האינדקס113MB (ממוצע של 15.7B לרשומה)
בנייהכ-3 שניות (פענוח המסמכים בתהליכון יחיד)
עדכון אינקרמנטלי (4,217 גרסאות שהשתנו)1.8 שניות
תוצאת העדכון האינקרמנטליגם אחרי 2 עדכונים, 2 מיזוגים והפסקה עם חידוש, תוצאות השאילתות זהות בית אחר בית לאינדקס שנבנה מאפס
הגברת כתיבה1.31 מצטבר (1.71 אם בונים מחדש בכל פעם)
  • באקסטרפולציה לכל Wikidata (כ-7.5 מיליארד רשומות), האינדקס יהיה כ-110GB (הערכה).
  • המחיר הוא הגודל: בערך פי 4 ממפה פשוטה של 4B לרשומה. צמצום רוחב המשבצת וחתימות ישויות הם הנושאים הבאים לבחינה.

סריקת חתימות (מדידה מקדימה לחתימות ישויות)

הזמן הומר לסריקה של 100 מיליון חתימות של 128 סיביות לפי מסכה ותבנית (i7-14700K, AVX2).

מימושזמן
NumPy, תהליכון יחיד~1 שנייה
Go, תהליכון יחיד~134ms
Go, 8 תהליכונים~27ms
Go, 16–20 תהליכונים~23ms (מגבלת רוחב הפס של הזיכרון)

מה שעושה את ההבדל אינו השפה, אלא לולאות ממוזגות ללא מערכי ביניים, וריבוי תהליכונים.

היחס לחיפוש וקטורי

זו חלוקת תפקידים, לא תחליף.

SILKחיפוש וקטורי
השאילתות שבאחריותושאילתות מובנות (תנאי נשוא, מושא, שפה, ישות)דמיון סמנטי שקשה לבטא במבנה
תוצאההקבוצה שמקיימת את התנאים (מדויקת)דירוג לפי דמיון (מקורב)
תנאי מוקדםהנתונים חייבים להיות מובנים ב-GEULמספיק טקסט מקור או הטמעות

בשאילתות שמחפשות עובדות המבוטאות ב-GEUL, SILK מדויק וזול. לטקסט מקור חסר מבנה או לשאילתות מסוג “משהו דומה”, חיפוש וקטורי מתאים יותר.

מיקום וצעדים הבאים

SILK הוא טכנולוגיית החיפוש שבה משתמש WMS (מתאם האחסון והאחזור של GEUL). ההכרעה אם טענה שנמצאה נכונה היא תפקידו של מנוע הכרעה נפרד.

הצעד הבאתוכן
חתימות ישויותמחרוזת סיביות ברוחב קבוע של 16–128 סיביות לכל ישות. המשתמש מצהיר על השדות (מנייה, one-hot, Bloom, תחילית, טווח). זהו מסנן ראשוני מקורב, שאחריו בא אימות מדויק. כרגע בשלב התכנון (חלק ממנו קיים בספרייה, ועדיין לא באינדקס)
המפרט כמסמך GEULהצהרה על מפרט ה-JSON כמסמך GEUL, וקריאת הפריסה ממסמכי מפרט הקודקים (DECLARE·FIELD)
אינדקס להרכבת טענותאינדקס Target שמוצא ישירות את ה-TRIPLE שאליו מצביעים QUALIFIER·SOURCE
היערכות לנפחים גדוליםתקרות זיכרון לבנייה ולמיזוג, מקבול הפענוח בזמן הבנייה

התפיסה הראשונית (2026-03) הייתה תכנון ב-Python·NumPy שסורק מזהי ישויות של 64 סיביות באמצעות AND על סיביות. כיום היא הפכה למנוע Go שמאנדקס ישירות רשומות GEUL.

מאגר ורישיון

  • מאגר: github.com/geul-org/silk
  • התקנה: go install github.com/geul-org/silk/cmd/silk@latest
  • רישיון: היצירות שלנו ברישיון CC0 1.0. רכיבי צד שלישי כפופים לרישיונות שלהם (NOTICE במאגר).