SILK هو محرك فهرسة وبحث مخصص لـ GEUL. فهو يجيب عن استعلامات مثل “ما المستندات التي تنص على أن المهنة (P106) هي فيزيائي (Q169470)؟” بالاعتماد على فهارس السجلات وحدها، دون فك ترميز مستندات GEUL كاملةً.

الحالةتطوير مبكر. نحن في مرحلة التحقق من خوارزميات البحث، وقد تتغير الصيغ قبل الإصدار الأول
اللغةGo
المدخلاتأرشيفات GEUL pack (غير مضغوطة)
الترخيصCC0
المستودعgithub.com/geul-org/silk

الأطروحة الأساسية

لم يكن البحث هو الصعب، بل كانت المشكلة في البيانات التي لا بنية لها.

النهج التقليدي: الكتابة أولًا ← ثم تخمين البنية لاحقًا (التقطيع، التضمين، التحليل)
GEUL: الهيكلة عند الكتابة ← لا يبقى من البحث إلا مقارنة الأعداد الصحيحة والبحث في النطاقات

يحمل سجل GEUL أصلًا حقولًا مثل الفاعل والمسند والمفعول واللغة في مواضع ثابتة على هيئة معرّفات صحيحة. وكل ما يفعله SILK هو استخراج هذه الحقول وترتيبها.

لماذا يلائم GEUL

خاصية في GEULما يكسبه SILK
كلمة TAG WORD واحدة بطول 16 بت تحمل النوع (Kind·Codec) والطولتصفية السجلات وتخطيها دون الحاجة إلى دفتر ترميز
حقول Edge سجلات في مواضع ثابتةاستخراج المفاتيح بحسب الموضع، دون الحاجة إلى قواعد تحليل منفصلة
المفردات المضبوطة معرّفات صحيحة (Q وP واللغة)مقارنة التساوي بأعداد صحيحة دون تطبيع للنصوص
يتكون pack من كائنات ثابتة وأجياليُبنى الفهرس أيضًا من مقاطع ثابتة وأجيال، فتكون اللقطات آمنة
التحويل حتميالمدخل نفسه يعطي الفهرس نفسه، ويمكن مطابقة النتيجة التزايدية بايتًا ببايت مع فهرس مبني من الصفر

لا يُعاد ترتيب مستندات GEUL. فالفهرس مجرد عرض (view) مرتَّب، وتبقى البايتات المنشورة وتجزئات المحتوى والتواقيع كما هي.

البنية

المدخلات

يقرأ SILK أرشيفات GEUL pack عبر gogeul. ولأن الفهرس يشير إلى مواضع البايتات داخل data pack، يجب أن تكون المجموعة بسجلات غير مضغوطة (GEULCOMPRESS=none). ضغط zstd مخصص للتوزيع والحفظ، أما طبقة البحث فتستخدم pack غير مضغوط.

مواصفة التقسيم

لكل نوع من TAG يُعلَن مفتاح تقسيم ومفتاح ترتيب بوصفهما حقلين في مواضع ثابتة من السجل. لا شيء مثل المسند أو اللغة مثبَّت في الشيفرة، والجدول التالي يعرض القيم الافتراضية لمستندات ويكي بيانات.

TAGمفتاح التقسيممفتاح الترتيب
TRIPLEالمسند (Predicate)المفعول (Object)
QUALIFIERالخاصية (Property)القيمة (Value)
LABEL·ALIAS·DESCRIPTIONاللغةالفاعل (Subject)
SOURCEلا يوجدالمصدر (Origin)
REFERENCE-NODEلا يوجدالمفعول (Object)
  • المفتاح هو البايتات الأولى (الخانة) من سجل الحقل. إذا اتسعت الخانة للسجل كان التساوي دقيقًا، وإذا كان أطول اقتصر دوره على انتقاء المرشحين.
  • يرفض التحقق من المواصفة استخدام حقل لا يُعرف موضعه إلا بدفتر ترميز، أو حقل غير محدود الطول، مفتاحًا للتقسيم.
  • تُعرَّف المواصفة بتجزئة محتواها. وإذا تغيرت أُعيد بناء ذلك الـ TAG وحده.

الدفعات والتحديث التزايدي والدمج

العنصرالدور
دفعة مرتبةمقطع ثابت مرتب حسب (مفتاح الترتيب، المستند، الإزاحة) لكل قسم. يُبحث فيه بالبحث الثنائي
مقطع مُلحَقيضم فقط المراجعات الجديدة الواردة من التحديث التزايدي (silk index update). يُمسح مسحًا
خريطة بتات المراجعات الحيةتعلّم المراجعات القديمة للمستندات المعدّلة بأنها ميتة بدل حذفها
دمج حسب مستويات الحجميدمج الدفعات من مستوى الحجم نفسه بدمج O(n)، وإذا كثرت الصفوف الميتة دمجها حتى الدفعة الأساسية
الجيليُستبدَل جيل البيان (manifest) ذريًّا. يثبّت القارئ جيلًا بعينه، فتبقى اللقطة سليمة حتى أثناء الدمج

يمكن قصر الدمج على أوقات الخمول (-idle، مع ترك 30% من المعالج والذاكرة). ويتوقف عند حدود الأقسام ويستأنف من نقطة حفظ.

الاستعلام

  1. شرط تساوٍ: يُحدَّد القسم ثم يُجرى بحث ثنائي في الدفعات المرتبة.
  2. شروط متعددة: ربط بالدمج (merge join) على أساس المستند (الفاعل). يجب أن تتحقق كل الشروط داخل مستند واحد.
  3. التحقق الدقيق: تُفك سجلات المرشحين بـ gogeul وتُقارَن حقلًا حقلًا ويُقرأ Edge Id.
silk query -triple P106=Q169470 ARCHIVE
silk query -count -triple P31=Q5 -triple P106=Q169470 ARCHIVE
silk query -label ko -match LABEL:1=Q42 ARCHIVE

القياسات

أُجريت القياسات على ويكي بيانات Q1–Q10000 و16,696 مستند خاصية (271MB، و7.07 مليون سجل فهرس). 8 خيوط، وأفضل نتيجة من 7 محاولات، دون احتساب زمن تشغيل العملية.

الاستعلام

الاستعلامالمستندات الناتجةالطريقة السابقة (مسح كامل)فهرس SILK
P106=Q169470 (المهنة = فيزيائي)55~20ms0.12ms
P31=Q5 (إنسان)1,579~19ms~1ms
إنسان + فيزيائي54~38ms~1ms
LABEL ko9,746(غير ممكن)~4ms
  • كانت الطريقة السابقة تمسح خريطة سجلات TRIPLE بالكامل.
  • معظم زمن LABEL ko يذهب في قراءة 9,746 سجلًا من pack للتحقق الدقيق.

الحجم والبناء والتحديث التزايدي

البندالقيمة
حجم الفهرس113MB (بمتوسط 15.7B لكل سجل)
البناءنحو 3 ثوانٍ (تحليل المستندات بخيط واحد)
تحديث تزايدي (تغيّر 4,217 مراجعة)1.8 ثانية
نتيجة التحديث التزايديبعد تحديثين ودمجين واستئناف بعد انقطاع، تطابقت نتائج الاستعلام بايتًا ببايت مع فهرس مبني من الصفر
تضخيم الكتابة1.31 تراكميًا (1.71 لو أُعيد البناء في كل مرة)
  • بالاستقراء إلى ويكي بيانات كاملة (نحو 7.5 مليار سجل) يبلغ الفهرس نحو 110GB (تقدير).
  • الثمن هو الحجم: أكبر بنحو 4 أضعاف من خريطة بسيطة بـ 4B لكل سجل. تقليص عرض الخانة وتواقيع الكيانات هما موضوعا الدراسة التاليان.

مسح التواقيع (قياس مسبق لتواقيع الكيانات)

حُوِّل إلى زمن مسح 100 مليون توقيع بطول 128 بت بقناع ونمط (i7-14700K، AVX2).

التنفيذالزمن
NumPy بخيط واحد~1 ثانية
Go بخيط واحد~134ms
Go بـ 8 خيوط~27ms
Go بـ 16–20 خيطًا~23ms (حدّ عرض نطاق الذاكرة)

ما يصنع الفرق ليس اللغة، بل الحلقات المدمجة بلا مصفوفات وسيطة، وتعدد الخيوط.

العلاقة بالبحث المتجهي

إنه تقسيم للأدوار، لا بديل.

SILKالبحث المتجهي
الاستعلامات التي يتولاهااستعلامات مهيكلة (شروط المسند والمفعول واللغة والكيان)التشابه الدلالي الذي يصعب التعبير عنه بالبنية
النتيجةالمجموعة التي تحقق الشروط (دقيقة)ترتيب حسب التشابه (تقريبي)
الشرط المسبقأن تكون البيانات مهيكلة بـ GEULيكفي النص الأصلي أو التضمينات

في الاستعلامات التي تبحث عن حقائق معبَّر عنها بـ GEUL، يكون SILK دقيقًا ورخيصًا. أما النص الأصلي غير المهيكل أو الاستعلام عن “شيء مشابه” فالبحث المتجهي أنسب له.

الموقع والخطوات التالية

SILK هو تقنية البحث التي يستخدمها WMS (منسق تخزين GEUL واسترجاعه). أما الحكم على صحة العبارة المسترجَعة فيتولاه محرك تحكيم مستقل.

الخطوة التاليةالمحتوى
تواقيع الكياناتسلسلة بتات ثابتة العرض من 16–128 بت لكل كيان. يعلن المستخدم الحقول (تعداد، one-hot، Bloom، بادئة، نطاق). هي مرشِّح أولي تقريبي يتبعه تحقق دقيق. حاليًا في مرحلة التخطيط (جزء منها فقط في المكتبة، ولم تدخل الفهرس بعد)
المواصفة مستندًا بـ GEULإعلان مواصفة JSON مستندًا بـ GEUL، وقراءة التخطيط من مستندات مواصفة الترميز (DECLARE·FIELD)
فهرس تجميع العباراتفهرس Target يجد مباشرةً الـ TRIPLE الذي يشير إليه QUALIFIER أو SOURCE
الاستعداد للأحجام الكبيرةسقوف للذاكرة في البناء والدمج، وتوزيع تحليل البناء على خيوط متوازية

كان التصور الأولي (2026-03) تصميمًا بـ Python وNumPy يمسح معرّفات كيانات بطول 64 بت بعملية AND على البتات. وقد تحوّل الآن إلى محرك بـ Go يفهرس سجلات GEUL مباشرةً.

المستودع والترخيص

  • المستودع: github.com/geul-org/silk
  • التثبيت: go install github.com/geul-org/silk/cmd/silk@latest
  • الترخيص: أعمالنا مرخّصة بـ CC0 1.0. وتخضع مكونات الأطراف الثالثة لتراخيصها الخاصة (انظر NOTICE في المستودع).