لماذا الاستكشاف ضروري

عندما يتجاوز الفهرس النافذة، يصطدم نموذج البحث نفسه بحدوده.

البحث نجح

ناقشنا حدود RAG. عدم دقة تشابه التضمين، اعتباطية تقسيم الأجزاء، استحالة الحكم على الجودة.

لكن ذلك النقاش كان عن جودة البحث. “كيف نبحث بدقة أكبر؟”

الآن يجب طرح سؤال مختلف. افترض أن البحث مثالي. افترض أنه يُرجع فقط المعلومات ذات الصلة الدقيقة بالاستعلام.

لا تزال هناك حالات لا يعمل فيها.

مشكلة النطاق

قاعدة معرفة داخلية تحوي 1,000 عبارة. يوجد فهرس. ضع الفهرس في السياق. استعلم. استرجع النتائج. يعمل.

العبارات تنمو إلى 100,000. الفهرس يكبر. لا يزال يتسع في النافذة. يعمل.

العبارات تنمو إلى 10 ملايين. الفهرس نفسه يتجاوز النافذة.

هذه ليست مشكلة جودة بحث. مهما كان البحث دقيقاً، إذا لم يتسع الفهرس الذي يجب الرجوع إليه للبحث في النافذة، فالبحث لا يمكنه حتى أن يبدأ.

والمعرفة تنمو. وثائق المؤسسات تزداد كل يوم. ما تعلّمه الوكيل يتراكم باستمرار. معرفة العالم لا تتقلص.

هل نافذة أكبر تحل المشكلة؟ إذا أصبحت 128 ألف ثم مليون ثم 10 ملايين؟ إذا بلغت المعرفة 100 مليون، تتكرر نفس المشكلة. النافذة دائماً محدودة، والمعرفة دائماً تنمو. هذا الاختلال دائم.

الفرق بين البحث والاستكشاف

البحث يحصل على نتائج باستعلام واحد.

الاستعلام: “الربح التشغيلي لشركة Samsung Electronics في الربع الثالث 2024” -> النتيجة: 9.18 تريليون وون.

طلقة واحدة. انتهى.

الاستكشاف يصل إلى النتائج عبر خطوات متعددة.

الخطوة 1: عرض خريطة المعرفة العليا. “شركات”، “صناعات”، “اقتصاد كلي”، “تكنولوجيا”… -> اختر “شركات.”

الخطوة 2: عرض خريطة الشركات. “Samsung Electronics”، “SK Hynix”، “Hyundai Motor”… -> اختر “Samsung Electronics.”

الخطوة 3: عرض خريطة Samsung Electronics. “مالية”، “موارد بشرية”، “تكنولوجيا”، “قانونية”… -> اختر “مالية.”

الخطوة 4: عرض الخريطة المالية. “نتائج ربعية”، “نتائج سنوية”، “خطط استثمار”… -> اختر “نتائج ربعية.”

الخطوة 5: استرجع “الربع الثالث 2024” من النتائج الربعية. -> الربح التشغيلي: 9.18 تريليون وون.

النتيجة نفسها. العملية مختلفة.

البحث يسأل “هل لديك هذا؟” الاستكشاف يتتبع “أين قد يكون؟”

البحث يتطلب أن يكون الفهرس مرئياً للمستعلم. الفهرس الكامل يجب أن يكون متاحاً. الاستكشاف يحتاج فقط إلى رؤية الطبقة الحالية من الخريطة. في كل خطوة، طبقة واحدة فقط تدخل النافذة.

تشبيه المكتبة

تزور مكتبة حي. فيها 3,000 كتاب. تسأل أمين المكتبة: “هل لديكم سيرة ذاتية ليي سون-شين؟” أمين المكتبة يتذكر: “في نهاية الرف 3.” بحث. يعمل.

تزور المكتبة الوطنية. تحوي 10 ملايين مجلد. تسأل أمين المكتبة: “هل لديكم سيرة ذاتية ليي سون-شين؟” أمين المكتبة لا يعرف أيضاً. لا أحد يحفظ 10 ملايين مجلد.

بدلاً من ذلك، هناك نظام تصنيف.

تتحقق من دليل الطابق الأول. -> قسم “التاريخ” في الطابق الثالث. تذهب إلى الطابق الثالث. -> “التاريخ الكوري” في الجناح الشرقي. تذهب إلى الجناح الشرقي. -> “عصر جوسون” في الصف د. تذهب إلى الصف د. -> “الشخصيات” في القسم الثالث من الصف د. تبحث في القسم الثالث. -> توجد سيرة ذاتية ليي سون-شين.

سعة ذاكرة أمين المكتبة لم تتغير. نطاق المكتبة تغيّر. الطريقة انتقلت من سؤال أمين المكتبة (بحث) إلى السير في نظام التصنيف (استكشاف).

هنا النقطة الجوهرية. في كل خطوة، حجم ما يجب الاطلاع عليه يتسع في سعة ذاكرة أمين المكتبة. دليل الطابق الأول. خريطة مناطق الطابق الثالث. قائمة صفوف الجناح الشرقي. قائمة أقسام الصف د. كلها تتسع في نظرة واحدة.

الفهرس الكامل لجميع المقتنيات لا يتسع في نظرة واحدة. لكن خريطة كل طابق تتسع.

هكذا يختلف الاستكشاف عن البحث. لا تحتاج لرؤية الكل دفعة واحدة. تحتاج فقط للحكم على الاتجاه التالي من حيث تقف حالياً.

خرائط الخرائط

بالمصطلحات التقنية، هذا بنية هرمية من الخرائط.

خريطة المستوى 1: التصنيف العلوي لكل المعرفة. “قاعدة المعرفة هذه تحوي معلومات عن شركات، صناعات، اقتصاد كلي، وتكنولوجيا.” عشرات العناصر. تتسع في النافذة.

خريطة المستوى 2: الفئات الفرعية لكل تصنيف علوي. “فئة الشركات تحوي Samsung Electronics، SK Hynix، Hyundai Motor…” عشرات إلى مئات العناصر. تتسع في النافذة.

خريطة المستوى 3: الفئات التفصيلية لكل فئة فرعية. “Samsung Electronics تحوي مالية، موارد بشرية، تكنولوجيا، قانونية…” عشرات العناصر. تتسع في النافذة.

العبارات الفعلية: المعلومات المحددة التي تشير إليها الخريطة الأدنى. “الربح التشغيلي لشركة Samsung Electronics في الربع الثالث 2024 كان 9.18 تريليون وون.”

إذا كان حجم كل طبقة يتسع في النافذة، فالاستكشاف ممكن بغض النظر عن النطاق الكلي للمعرفة.

حتى مع 10 ملايين عبارة، إذا كان في كل طبقة 100 عنصر، تصل إلى الهدف في 5 خطوات استكشاف. 100 -> 100 -> 100 -> 100 -> 100 = تغطية تصل إلى 10 مليارات. في كل خطوة، 100 عنصر فقط يدخل النافذة.

هذه نفس الطريقة التي يجد بها B-tree البيانات على القرص. لا يحمّل كل البيانات في الذاكرة. يقرأ فقط العقدة الحالية من الشجرة وينتقل إلى التالية. بيانات بأي نطاق يمكن استكشافها بغض النظر عن حجم الذاكرة.

نافذة السياق هي الذاكرة. قاعدة المعرفة هي القرص. الخريطة هي عقدة B-tree.

الوكيل يسير

في الاستكشاف متعدد الخطوات، من يختار الاتجاه في كل خطوة؟

الوكيل.

ضع خريطة المستوى 1 في السياق. الوكيل يقرأها، يقارنها بالاستعلام، ويختار اتجاه “الشركات.”

اطلب خريطة المستوى 2. خريطة الفئات الفرعية للشركات تدخل السياق. الوكيل يقرأها ويختار اتجاه “Samsung Electronics.”

اطلب خريطة المستوى 3. الوكيل يختار “مالية.”

هذا استخدام الوكيل للأدوات. قراءة الخريطة استدعاء أداة. اختيار الاتجاه حكم. طلب الخريطة التالية استدعاء الأداة التالية.

في البحث، الوكيل يستعلم مرة ويتلقى نتيجة. سلبي. في الاستكشاف، الوكيل يصدر أحكاماً متعددة ويختار اتجاهات. نشط.

هنا تلتقي هندسة السياق بتصميم الوكيل. ما يدخل السياق يُحدَّد خطوة بخطوة من خلال حكم الوكيل. بناء السياق ينتقل من تجميع ثابت إلى استكشاف ديناميكي.

هذه المشكلة بالكاد تُناقش اليوم

بالنظر إلى المناقشات في مجتمع RAG، معظم الطاقة تتركز على جودة البحث.

نماذج تضمين أفضل. استراتيجيات تقسيم أفضل. بنى معيد الترتيب. البحث الهجين. Graph RAG.

كلها مهمة. كلها عن “كيف نحصل على نتائج أفضل من بحث واحد.”

“ماذا لو لم يكن بحث واحد كافياً؟” بالكاد يُناقش.

اللحظة التي يتجاوز فيها الفهرس النافذة. اللحظة التي تكون فيها النتائج أكثر من أن تتسع. اللحظة التي يكسر فيها نطاق المعرفة فرضية نموذج البحث نفسه.

تلك اللحظة قادمة. المعرفة تنمو والنافذة محدودة.

معظم الحلول الحالية تجنّب. استرجع فقط أعلى k. تجاهل الباقي. وسّع النافذة. التكاليف ترتفع. قسّم المعرفة. مخازن متجهات منفصلة لكل مجال.

كلها تواجه نفس المشكلة مجدداً عندما يكبر النطاق أكثر.

شروط الاستكشاف المسبقة

لكي يعمل الاستكشاف، يجب أن تكون المعرفة في بنية قابلة للاستكشاف.

يجب أن يوجد تسلسل هرمي. إذا كانت المعرفة مسطحة، الاستكشاف مستحيل. مخزن متجهات التضمين مسطح. كل الأجزاء على نفس المستوى. لا تسلسل هرمي، لذا مفهوم “التعمق” غير موجود.

كل طبقة يجب أن تتسع في النافذة. إذا تجاوزت خريطة واحدة النافذة، يفشل الاستكشاف. عدد الخيارات في كل مستوى من التسلسل الهرمي يجب أن يكون بحجم مناسب. هذه مشكلة تصميم تصنيف.

المسارات يجب أن تكون متنوعة. يجب أن يكون ممكناً الوصول إلى نفس المعلومات عبر مسارات متعددة. عبر “Samsung Electronics -> مالية -> الربح التشغيلي” أو عبر “صناعة أشباه الموصلات -> شركات رئيسية -> Samsung Electronics -> نتائج.” لأن المسار الطبيعي يختلف حسب السؤال. إذا كان معيار التصنيف ثابتاً على واحد، فهو يناسب بعض الأسئلة ولا يناسب أخرى.

بنية المجلدات لها تسلسل هرمي لكن مسار واحد فقط. ملف ينتمي إلى مجلد واحد فقط. فقط المسار “Samsung Electronics/مالية/الربح التشغيلي” موجود. عندما يأتي سؤال عن “صناعة أشباه الموصلات”، الاستكشاف الطبيعي عبر بنية المجلدات هذه مستحيل.

الرسم البياني له تسلسل هرمي ومسارات متنوعة. عقدة واحدة يمكن ربطها بعقد أب متعددة. عقدة Samsung Electronics يمكن الوصول إليها عبر مسار “شركات”، مسار “صناعة أشباه الموصلات”، أو مسار “شركات KOSPI المدرجة.” بغض النظر عن السياق الذي ينطلق منه السؤال، يوجد مسار طبيعي.

هذه مشكلة لم تُحل بعد

هناك شيء يجب قوله بصراحة.

الحاجة إلى الاستكشاف متعدد الخطوات واضحة. لكن لا يوجد نظام معياري يطبّق هذا بفعالية حتى الآن.

كيف تُولّد تلقائياً تسلسل خرائط هرمي؟ كيف تُحدّد الحجم المناسب لكل طبقة؟ ماذا يحدث عندما يختار الوكيل الاتجاه الخاطئ؟ ماذا يحدث للكمون مع زيادة عمق الاستكشاف؟

هذه أسئلة مفتوحة.

لكن كون المشكلة لم تُحل لا يعني أن المشكلة غير موجودة.

المعرفة تنمو. النافذة محدودة. اللحظة التي لا يكفي فيها البحث وحده قادمة.

يجب أن يكون الاستكشاف جاهزاً كإجابة لتلك اللحظة. إن لم يكن جاهزاً، لا يبقى سوى توسيع النافذة أو التخلي عن المعرفة.

ملخص

البحث يُرجع نتائج باستعلام واحد. عندما يكبر نطاق المعرفة بما يكفي، هذا لا يكفي. لأن الفهرس نفسه يتجاوز النافذة.

الاستكشاف يتبع خرائط هرمية، يختار اتجاهات أثناء النزول. ما يجب الاطلاع عليه في كل خطوة يتسع في النافذة. كل خطوة محدودة بغض النظر عن النطاق الكلي. كما يجد B-tree البيانات بدون تحميل القرص بأكمله في الذاكرة.

الوكيل يحكم على الاتجاه في كل خطوة. بناء السياق ينتقل من تجميع ثابت إلى استكشاف ديناميكي. هنا تلتقي هندسة السياق بتصميم الوكيل.

لكي يعمل الاستكشاف، يجب أن تكون المعرفة هرمية، وكل طبقة محدودة، والمسارات متنوعة. بنية المجلدات لها مسار واحد فقط. الرسم البياني له مسارات متنوعة.

هذه لا تزال مشكلة لم تُحل بلا حل معياري. لكن طالما المعرفة تنمو والنافذة محدودة، فهي مشكلة يجب حلها.