SILK הוא מנוע אינדוקס וחיפוש ייעודי ל-GEUL. בלי לפענח מסמכי GEUL במלואם, הוא עונה על שאילתות כמו “אילו מסמכים קובעים שהעיסוק (P106) הוא פיזיקאי (Q169470)?” באמצעות אינדקסי רשומות בלבד.
| מצב | פיתוח מוקדם. אלגוריתמי החיפוש נמצאים בשלב אימות, והפורמטים עשויים להשתנות עד הגרסה הראשונה |
| שפה | Go |
| קלט | ארכיוני GEUL pack (ללא דחיסה) |
| רישיון | CC0 |
| מאגר | github.com/geul-org/silk |
הטענה המרכזית
החיפוש מעולם לא היה החלק הקשה. הבעיה הייתה נתונים חסרי מבנה.
הגישה המקובלת: קודם כותבים ← אחר כך משערים את המבנה (טוקניזציה, הטמעות, ניתוח)
GEUL: מבנים בזמן הכתיבה ← מהחיפוש נשארות רק השוואת מספרים שלמים וסריקת טווחים
רשומת GEUL כבר מכילה שדות כמו נושא, נשוא, מושא ושפה, כמזהים שלמים במיקומים קבועים. SILK רק שולף את השדות האלה ושומר אותם ממוינים.
מדוע זה מתאים ל-GEUL
| תכונה של GEUL | מה SILK מרוויח |
|---|---|
| TAG WORD יחיד של 16 סיביות נושא את הסוג (Kind·Codec) ואת האורך | אפשר לסנן רשומות ולדלג עליהן בלי ספר קודים |
| השדות של Edge הם רשומות במיקומים קבועים | המפתחות נשלפים לפי מיקום. אין צורך בכללי פענוח נפרדים |
| אוצר המילים המבוקר הוא מזהים שלמים (Q, P, שפה) | השוואת שוויון נעשית על מספרים שלמים, בלי נרמול מחרוזות |
| pack מורכב מאובייקטים בלתי ניתנים לשינוי ומדורות | גם האינדקס נבנה מסגמנטים בלתי ניתנים לשינוי ומדורות, ולכן תמונות המצב בטוחות |
| ההמרה דטרמיניסטית | אותו קלט מניב אותו אינדקס. אפשר להשוות את התוצאה האינקרמנטלית בית אחר בית לאינדקס שנבנה מאפס |
מסמכי GEUL אינם ממוינים מחדש. האינדקס הוא רק תצוגה (view) ממוינת; הבתים שפורסמו, גיבובי התוכן והחתימות נשארים כפי שהם.
מבנה
קלט
SILK קורא ארכיוני GEUL pack באמצעות gogeul. מכיוון שהאינדקס מצביע על מיקומי בתים בתוך data pack, הסט חייב לאחסן את הרשומות ללא דחיסה (GEULCOMPRESS=none). דחיסת zstd מיועדת להפצה ולשימור; שכבת החיפוש משתמשת ב-pack לא דחוס.
מפרט המחיצות
לכל סוג TAG מוצהרים מפתח מחיצה ומפתח מיון כשדות במיקום קבוע ברשומה. דבר כמו נשוא או שפה אינו מקודד בקשיחות; הטבלה שלהלן מציגה את ברירות המחדל למסמכי Wikidata.
| TAG | מפתח מחיצה | מפתח מיון |
|---|---|---|
| TRIPLE | נשוא (Predicate) | מושא (Object) |
| QUALIFIER | מאפיין (Property) | ערך (Value) |
| LABEL·ALIAS·DESCRIPTION | שפה | נושא (Subject) |
| SOURCE | אין | מקור (Origin) |
| REFERENCE-NODE | אין | מושא (Object) |
- מפתח הוא הבתים הראשונים (משבצת) של רשומת השדה. אם הרשומה נכנסת במשבצת, השוויון מדויק; אם היא ארוכה יותר, המפתח רק בוחר מועמדים.
- אימות המפרט דוחה כמפתח מחיצה שדה שמיקומו ידוע רק בעזרת ספר קודים, או שדה שאורכו בלתי מוגבל.
- מפרט מזוהה לפי גיבוב התוכן שלו. כשהמפרט משתנה, נבנה מחדש רק אותו TAG.
ריצות, עדכונים אינקרמנטליים ומיזוג
| רכיב | תפקיד |
|---|---|
| ריצה ממוינת | סגמנט בלתי ניתן לשינוי הממוין לפי (מפתח מיון, מסמך, היסט) בכל מחיצה. נסרק בחיפוש בינארי |
| סגמנט מצורף | מכיל רק את הגרסאות החדשות מעדכון אינקרמנטלי (silk index update). נסרק ברצף |
| מפת סיביות של גרסאות חיות | מסמנת גרסאות ישנות של מסמכים שהשתנו כמתות במקום למחוק אותן |
| מיזוג לפי דרגות גודל | ממזג ריצות מאותה דרגת גודל במיזוג O(n), וכשיש הרבה שורות מתות ממזג עד לריצת הבסיס |
| דור | דור המניפסט מוחלף באופן אטומי. הקורא מקבע דור, כך שתמונת המצב נשמרת גם במהלך מיזוג |
אפשר להגביל את המיזוג לזמני סרק בלבד (-idle, תוך השארת 30% מה-CPU ומהזיכרון פנויים). הוא נעצר בגבולות מחיצה וממשיך מנקודת ביקורת.
שאילתות
- תנאי שוויון: מאתרים את המחיצה ומבצעים חיפוש בינארי בריצות הממוינות.
- מספר תנאים: צירוף במיזוג (merge join) לפי המסמך (הנושא). כל התנאים חייבים להתקיים בתוך מסמך אחד.
- אימות מדויק: מפענחים את רשומות המועמדים עם gogeul, משווים שדה אחר שדה וקוראים את ה-Edge Id.
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE
מדידות
נמדד על Wikidata Q1–Q10000 ועל 16,696 מסמכי מאפיינים (271MB, 7.07 מיליון רשומות אינדקס). 8 תהליכונים, התוצאה הטובה מתוך 7 הרצות, ללא זמן הפעלת התהליך.
שאילתות
| שאילתה | מסמכים בתוצאה | השיטה הקודמת (סריקה מלאה) | אינדקס SILK |
|---|---|---|---|
| P106=Q169470 (עיסוק = פיזיקאי) | 55 | ~20ms | 0.12ms |
| P31=Q5 (אדם) | 1,579 | ~19ms | ~1ms |
| אדם + פיזיקאי | 54 | ~38ms | ~1ms |
| LABEL ko | 9,746 | (לא אפשרי) | ~4ms |
- השיטה הקודמת סרקה במלואה את מפת רשומות ה-TRIPLE.
- ב-LABEL ko רוב הזמן מוקדש לקריאת 9,746 רשומות מה-pack לצורך אימות מדויק.
גודל, בנייה ועדכון אינקרמנטלי
| פריט | ערך |
|---|---|
| גודל האינדקס | 113MB (ממוצע של 15.7B לרשומה) |
| בנייה | כ-3 שניות (פענוח המסמכים בתהליכון יחיד) |
| עדכון אינקרמנטלי (4,217 גרסאות שהשתנו) | 1.8 שניות |
| תוצאת העדכון האינקרמנטלי | גם אחרי 2 עדכונים, 2 מיזוגים והפסקה עם חידוש, תוצאות השאילתות זהות בית אחר בית לאינדקס שנבנה מאפס |
| הגברת כתיבה | 1.31 מצטבר (1.71 אם בונים מחדש בכל פעם) |
- באקסטרפולציה לכל Wikidata (כ-7.5 מיליארד רשומות), האינדקס יהיה כ-110GB (הערכה).
- המחיר הוא הגודל: בערך פי 4 ממפה פשוטה של 4B לרשומה. צמצום רוחב המשבצת וחתימות ישויות הם הנושאים הבאים לבחינה.
סריקת חתימות (מדידה מקדימה לחתימות ישויות)
הזמן הומר לסריקה של 100 מיליון חתימות של 128 סיביות לפי מסכה ותבנית (i7-14700K, AVX2).
| מימוש | זמן |
|---|---|
| NumPy, תהליכון יחיד | ~1 שנייה |
| Go, תהליכון יחיד | ~134ms |
| Go, 8 תהליכונים | ~27ms |
| Go, 16–20 תהליכונים | ~23ms (מגבלת רוחב הפס של הזיכרון) |
מה שעושה את ההבדל אינו השפה, אלא לולאות ממוזגות ללא מערכי ביניים, וריבוי תהליכונים.
היחס לחיפוש וקטורי
זו חלוקת תפקידים, לא תחליף.
| SILK | חיפוש וקטורי | |
|---|---|---|
| השאילתות שבאחריותו | שאילתות מובנות (תנאי נשוא, מושא, שפה, ישות) | דמיון סמנטי שקשה לבטא במבנה |
| תוצאה | הקבוצה שמקיימת את התנאים (מדויקת) | דירוג לפי דמיון (מקורב) |
| תנאי מוקדם | הנתונים חייבים להיות מובנים ב-GEUL | מספיק טקסט מקור או הטמעות |
בשאילתות שמחפשות עובדות המבוטאות ב-GEUL, SILK מדויק וזול. לטקסט מקור חסר מבנה או לשאילתות מסוג “משהו דומה”, חיפוש וקטורי מתאים יותר.
מיקום וצעדים הבאים
SILK הוא טכנולוגיית החיפוש שבה משתמש WMS (מתאם האחסון והאחזור של GEUL). ההכרעה אם טענה שנמצאה נכונה היא תפקידו של מנוע הכרעה נפרד.
| הצעד הבא | תוכן |
|---|---|
| חתימות ישויות | מחרוזת סיביות ברוחב קבוע של 16–128 סיביות לכל ישות. המשתמש מצהיר על השדות (מנייה, one-hot, Bloom, תחילית, טווח). זהו מסנן ראשוני מקורב, שאחריו בא אימות מדויק. כרגע בשלב התכנון (חלק ממנו קיים בספרייה, ועדיין לא באינדקס) |
| המפרט כמסמך GEUL | הצהרה על מפרט ה-JSON כמסמך GEUL, וקריאת הפריסה ממסמכי מפרט הקודקים (DECLARE·FIELD) |
| אינדקס להרכבת טענות | אינדקס Target שמוצא ישירות את ה-TRIPLE שאליו מצביעים QUALIFIER·SOURCE |
| היערכות לנפחים גדולים | תקרות זיכרון לבנייה ולמיזוג, מקבול הפענוח בזמן הבנייה |
התפיסה הראשונית (2026-03) הייתה תכנון ב-Python·NumPy שסורק מזהי ישויות של 64 סיביות באמצעות AND על סיביות. כיום היא הפכה למנוע Go שמאנדקס ישירות רשומות GEUL.
מאגר ורישיון
- מאגר: github.com/geul-org/silk
- התקנה:
go install github.com/geul-org/silk/cmd/silk@latest - רישיון: היצירות שלנו ברישיון CC0 1.0. רכיבי צד שלישי כפופים לרישיונות שלהם (NOTICE במאגר).