SILK هو محرك فهرسة وبحث مخصص لـ GEUL. فهو يجيب عن استعلامات مثل “ما المستندات التي تنص على أن المهنة (P106) هي فيزيائي (Q169470)؟” بالاعتماد على فهارس السجلات وحدها، دون فك ترميز مستندات GEUL كاملةً.
| الحالة | تطوير مبكر. نحن في مرحلة التحقق من خوارزميات البحث، وقد تتغير الصيغ قبل الإصدار الأول |
| اللغة | Go |
| المدخلات | أرشيفات GEUL pack (غير مضغوطة) |
| الترخيص | CC0 |
| المستودع | github.com/geul-org/silk |
الأطروحة الأساسية
لم يكن البحث هو الصعب، بل كانت المشكلة في البيانات التي لا بنية لها.
النهج التقليدي: الكتابة أولًا ← ثم تخمين البنية لاحقًا (التقطيع، التضمين، التحليل)
GEUL: الهيكلة عند الكتابة ← لا يبقى من البحث إلا مقارنة الأعداد الصحيحة والبحث في النطاقات
يحمل سجل GEUL أصلًا حقولًا مثل الفاعل والمسند والمفعول واللغة في مواضع ثابتة على هيئة معرّفات صحيحة. وكل ما يفعله SILK هو استخراج هذه الحقول وترتيبها.
لماذا يلائم GEUL
| خاصية في GEUL | ما يكسبه SILK |
|---|---|
| كلمة TAG WORD واحدة بطول 16 بت تحمل النوع (Kind·Codec) والطول | تصفية السجلات وتخطيها دون الحاجة إلى دفتر ترميز |
| حقول Edge سجلات في مواضع ثابتة | استخراج المفاتيح بحسب الموضع، دون الحاجة إلى قواعد تحليل منفصلة |
| المفردات المضبوطة معرّفات صحيحة (Q وP واللغة) | مقارنة التساوي بأعداد صحيحة دون تطبيع للنصوص |
| يتكون pack من كائنات ثابتة وأجيال | يُبنى الفهرس أيضًا من مقاطع ثابتة وأجيال، فتكون اللقطات آمنة |
| التحويل حتمي | المدخل نفسه يعطي الفهرس نفسه، ويمكن مطابقة النتيجة التزايدية بايتًا ببايت مع فهرس مبني من الصفر |
لا يُعاد ترتيب مستندات GEUL. فالفهرس مجرد عرض (view) مرتَّب، وتبقى البايتات المنشورة وتجزئات المحتوى والتواقيع كما هي.
البنية
المدخلات
يقرأ SILK أرشيفات GEUL pack عبر gogeul. ولأن الفهرس يشير إلى مواضع البايتات داخل data pack، يجب أن تكون المجموعة بسجلات غير مضغوطة (GEULCOMPRESS=none). ضغط zstd مخصص للتوزيع والحفظ، أما طبقة البحث فتستخدم pack غير مضغوط.
مواصفة التقسيم
لكل نوع من TAG يُعلَن مفتاح تقسيم ومفتاح ترتيب بوصفهما حقلين في مواضع ثابتة من السجل. لا شيء مثل المسند أو اللغة مثبَّت في الشيفرة، والجدول التالي يعرض القيم الافتراضية لمستندات ويكي بيانات.
| TAG | مفتاح التقسيم | مفتاح الترتيب |
|---|---|---|
| TRIPLE | المسند (Predicate) | المفعول (Object) |
| QUALIFIER | الخاصية (Property) | القيمة (Value) |
| LABEL·ALIAS·DESCRIPTION | اللغة | الفاعل (Subject) |
| SOURCE | لا يوجد | المصدر (Origin) |
| REFERENCE-NODE | لا يوجد | المفعول (Object) |
- المفتاح هو البايتات الأولى (الخانة) من سجل الحقل. إذا اتسعت الخانة للسجل كان التساوي دقيقًا، وإذا كان أطول اقتصر دوره على انتقاء المرشحين.
- يرفض التحقق من المواصفة استخدام حقل لا يُعرف موضعه إلا بدفتر ترميز، أو حقل غير محدود الطول، مفتاحًا للتقسيم.
- تُعرَّف المواصفة بتجزئة محتواها. وإذا تغيرت أُعيد بناء ذلك الـ TAG وحده.
الدفعات والتحديث التزايدي والدمج
| العنصر | الدور |
|---|---|
| دفعة مرتبة | مقطع ثابت مرتب حسب (مفتاح الترتيب، المستند، الإزاحة) لكل قسم. يُبحث فيه بالبحث الثنائي |
| مقطع مُلحَق | يضم فقط المراجعات الجديدة الواردة من التحديث التزايدي (silk index update). يُمسح مسحًا |
| خريطة بتات المراجعات الحية | تعلّم المراجعات القديمة للمستندات المعدّلة بأنها ميتة بدل حذفها |
| دمج حسب مستويات الحجم | يدمج الدفعات من مستوى الحجم نفسه بدمج O(n)، وإذا كثرت الصفوف الميتة دمجها حتى الدفعة الأساسية |
| الجيل | يُستبدَل جيل البيان (manifest) ذريًّا. يثبّت القارئ جيلًا بعينه، فتبقى اللقطة سليمة حتى أثناء الدمج |
يمكن قصر الدمج على أوقات الخمول (-idle، مع ترك 30% من المعالج والذاكرة). ويتوقف عند حدود الأقسام ويستأنف من نقطة حفظ.
الاستعلام
- شرط تساوٍ: يُحدَّد القسم ثم يُجرى بحث ثنائي في الدفعات المرتبة.
- شروط متعددة: ربط بالدمج (merge join) على أساس المستند (الفاعل). يجب أن تتحقق كل الشروط داخل مستند واحد.
- التحقق الدقيق: تُفك سجلات المرشحين بـ gogeul وتُقارَن حقلًا حقلًا ويُقرأ Edge Id.
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE
القياسات
أُجريت القياسات على ويكي بيانات Q1–Q10000 و16,696 مستند خاصية (271MB، و7.07 مليون سجل فهرس). 8 خيوط، وأفضل نتيجة من 7 محاولات، دون احتساب زمن تشغيل العملية.
الاستعلام
| الاستعلام | المستندات الناتجة | الطريقة السابقة (مسح كامل) | فهرس SILK |
|---|---|---|---|
| P106=Q169470 (المهنة = فيزيائي) | 55 | ~20ms | 0.12ms |
| P31=Q5 (إنسان) | 1,579 | ~19ms | ~1ms |
| إنسان + فيزيائي | 54 | ~38ms | ~1ms |
| LABEL ko | 9,746 | (غير ممكن) | ~4ms |
- كانت الطريقة السابقة تمسح خريطة سجلات TRIPLE بالكامل.
- معظم زمن LABEL ko يذهب في قراءة 9,746 سجلًا من pack للتحقق الدقيق.
الحجم والبناء والتحديث التزايدي
| البند | القيمة |
|---|---|
| حجم الفهرس | 113MB (بمتوسط 15.7B لكل سجل) |
| البناء | نحو 3 ثوانٍ (تحليل المستندات بخيط واحد) |
| تحديث تزايدي (تغيّر 4,217 مراجعة) | 1.8 ثانية |
| نتيجة التحديث التزايدي | بعد تحديثين ودمجين واستئناف بعد انقطاع، تطابقت نتائج الاستعلام بايتًا ببايت مع فهرس مبني من الصفر |
| تضخيم الكتابة | 1.31 تراكميًا (1.71 لو أُعيد البناء في كل مرة) |
- بالاستقراء إلى ويكي بيانات كاملة (نحو 7.5 مليار سجل) يبلغ الفهرس نحو 110GB (تقدير).
- الثمن هو الحجم: أكبر بنحو 4 أضعاف من خريطة بسيطة بـ 4B لكل سجل. تقليص عرض الخانة وتواقيع الكيانات هما موضوعا الدراسة التاليان.
مسح التواقيع (قياس مسبق لتواقيع الكيانات)
حُوِّل إلى زمن مسح 100 مليون توقيع بطول 128 بت بقناع ونمط (i7-14700K، AVX2).
| التنفيذ | الزمن |
|---|---|
| NumPy بخيط واحد | ~1 ثانية |
| Go بخيط واحد | ~134ms |
| Go بـ 8 خيوط | ~27ms |
| Go بـ 16–20 خيطًا | ~23ms (حدّ عرض نطاق الذاكرة) |
ما يصنع الفرق ليس اللغة، بل الحلقات المدمجة بلا مصفوفات وسيطة، وتعدد الخيوط.
العلاقة بالبحث المتجهي
إنه تقسيم للأدوار، لا بديل.
| SILK | البحث المتجهي | |
|---|---|---|
| الاستعلامات التي يتولاها | استعلامات مهيكلة (شروط المسند والمفعول واللغة والكيان) | التشابه الدلالي الذي يصعب التعبير عنه بالبنية |
| النتيجة | المجموعة التي تحقق الشروط (دقيقة) | ترتيب حسب التشابه (تقريبي) |
| الشرط المسبق | أن تكون البيانات مهيكلة بـ GEUL | يكفي النص الأصلي أو التضمينات |
في الاستعلامات التي تبحث عن حقائق معبَّر عنها بـ GEUL، يكون SILK دقيقًا ورخيصًا. أما النص الأصلي غير المهيكل أو الاستعلام عن “شيء مشابه” فالبحث المتجهي أنسب له.
الموقع والخطوات التالية
SILK هو تقنية البحث التي يستخدمها WMS (منسق تخزين GEUL واسترجاعه). أما الحكم على صحة العبارة المسترجَعة فيتولاه محرك تحكيم مستقل.
| الخطوة التالية | المحتوى |
|---|---|
| تواقيع الكيانات | سلسلة بتات ثابتة العرض من 16–128 بت لكل كيان. يعلن المستخدم الحقول (تعداد، one-hot، Bloom، بادئة، نطاق). هي مرشِّح أولي تقريبي يتبعه تحقق دقيق. حاليًا في مرحلة التخطيط (جزء منها فقط في المكتبة، ولم تدخل الفهرس بعد) |
| المواصفة مستندًا بـ GEUL | إعلان مواصفة JSON مستندًا بـ GEUL، وقراءة التخطيط من مستندات مواصفة الترميز (DECLARE·FIELD) |
| فهرس تجميع العبارات | فهرس Target يجد مباشرةً الـ TRIPLE الذي يشير إليه QUALIFIER أو SOURCE |
| الاستعداد للأحجام الكبيرة | سقوف للذاكرة في البناء والدمج، وتوزيع تحليل البناء على خيوط متوازية |
كان التصور الأولي (2026-03) تصميمًا بـ Python وNumPy يمسح معرّفات كيانات بطول 64 بت بعملية AND على البتات. وقد تحوّل الآن إلى محرك بـ Go يفهرس سجلات GEUL مباشرةً.
المستودع والترخيص
- المستودع: github.com/geul-org/silk
- التثبيت:
go install github.com/geul-org/silk/cmd/silk@latest - الترخيص: أعمالنا مرخّصة بـ CC0 1.0. وتخضع مكونات الأطراف الثالثة لتراخيصها الخاصة (انظر NOTICE في المستودع).