لماذا التحقق الميكانيكي ضروري

اللغة الطبيعية ليس فيها مفهوم “الجملة غير الصالحة.”

لا أحد يفحص ما يدخل السياق

انظر كيف تدخل المعلومات السياق في أنابيب LLM الحالية.

RAG يُرجع أجزاء. وكيل يتلقى استجابات API. المحادثات السابقة تتراكم في السجل. مستخدم يرفع وثيقة.

هذه تدخل نافذة السياق. بدون فحص.

لماذا لا يوجد فحص؟ لأن اللغة الطبيعية ليس فيها مفهوم “غير صالح.”

اللغة الطبيعية تقبل كل سلسلة نصية

في البرمجة، يوجد شيء اسمه خطأ نحوي.

def calculate(x, y
    return x + y

القوس غير مُغلق. يُرفض قبل التنفيذ. يمكن الإعلان بشكل قاطع أن الشيفرة “ليست شيفرة صالحة” قبل تشغيلها، بل قبل حتى قراءتها.

اللغة الطبيعية ليس فيها شيء كهذا.

“He went to the bank.” صحيحة نحوياً. لا يمكنك معرفة من ذهب، أو أي بنك، أو لماذا، لكن لا شيء ينتهك القواعد النحوية للغة الطبيعية.

“تقرير مبيعات اليوم 45 من الشهر 13، 2024.” لا يوجد شهر 13 ولا يوم 45. ومع ذلك لا شيء ينتهك القواعد النحوية للغة الطبيعية. هي جملة صحيحة نحوياً.

“المصدر: مجهول. الثقة: مجهولة. التاريخ: مجهول. القيمة السوقية لشركة Samsung Electronics هي 1,200 تريليون وون.” المصدر مجهول، الثقة مجهولة، تاريخ المرجع مجهول. ومع ذلك لا شيء ينتهك القواعد النحوية للغة الطبيعية.

اللغة الطبيعية تقبل كل شيء. الجملة غير الصالحة في اللغة الطبيعية غير موجودة بنيوياً. لذلك لا يوجد معيار ميكانيكي لـ “رفض” معلومات مُعبَّر عنها بلغة طبيعية.

ما يتطلبه التحقق الميكانيكي

انظر إلى مترجم Go.

يرفض Go الترجمة إذا كان هناك استيراد غير مُستخدَم. حتى لو كانت الشيفرة تعمل بشكل مثالي. حتى لو لم يكن هناك خلل في المنطق. يرفض فقط لأن سطر استيراد واحد غير مُستخدَم.

هذا هو التحقق الميكانيكي.

للتحقق الميكانيكي ثلاث خصائص.

حتمي. النتيجة نعم أو لا. ليس احتمالاً. لا يوجد “ربما لا بأس.” صالح أو غير صالح.

رخيص. لا حاجة لاستدعاء LLM. مقارنة سلاسل نصية، فحص وجود حقول، فحص نطاق قيم. عمليات CPU بمقياس النانوثانية.

لا يقرأ المعنى. لا يحكم على صحة المحتوى أو خطئه. يتحقق فقط مما إذا كان الشكل يتوافق مع المواصفات. لا يعرف ما إذا كانت “القيمة السوقية لشركة Samsung Electronics هي 1,200 تريليون وون” صحيحة. لكنه يعرف ما إذا كان حقل المصدر فارغاً.

لتكون هذه الأشياء الثلاثة ممكنة، يوجد شرط مسبق واحد. يجب أن يكون للمعلومات مواصفات.

إذا وُجدت مواصفات، تُعرَّف الانتهاكات. إذا عُرِّفت الانتهاكات، يصبح الرفض ممكناً. إذا أصبح الرفض ممكناً، يوجد تحقق.

اللغة الطبيعية ليس لها مواصفات، لذا لا توجد انتهاكات. لا انتهاكات تعني لا رفض. لا رفض يعني لا تحقق.

لماذا التحقق قبل السياق ضروري

نافذة السياق محدودة.

سواء كانت 128 ألف رمز أو مليون رمز، هي محدودة. جودة المعلومات التي تدخل مساحة محدودة تحدد جودة المُخرَج.

ومع ذلك في الأنابيب الحالية، حكم الجودة يحدث فقط بعد دخول المعلومات للسياق. تتوقع من LLM أن يقرأها ويحكم عليها ويستنتج بنفسه أن “هذه المعلومات يصعب الوثوق بها.”

هذا خاطئ من ثلاثة أوجه.

مكلف. تستخدم تكلفة استدلال LLM لفحص الشكل. تشغّل نموذجاً بمليارات المعاملات لتصفية أجزاء بلا مصدر. تستخدم التفكير الاحتمالي لمهمة تتطلب فحص حقل واحد.

غير موثوق. لا ضمان أن LLM سيتجاهل دائماً المعلومات التي لا مصدر لها. في الواقع، بمجرد أن يكون شيء في السياق، يميل LLM إلى استخدامه. توقّع أن يتجاهل النموذج شيئاً وضعته في السياق تناقض.

متأخر. مساحة النافذة استُهلكت بالفعل. إذا استغرقت 5 أجزاء بلا مصدر 200 رمز لكل منها، فقد أُهدر 1,000 رمز. حتى لو صُفّيت، تلك المساحة أُنفقت بالفعل.

التحقق الميكانيكي يأتي قبل كل هذا. قبل الدخول إلى السياق. قبل أن يقرأها LLM. قبل استهلاك النافذة.

ما الذي يُتحقَّق منه

التحقق الميكانيكي لا يتحقق من صحة المحتوى بل من توافقه مع مواصفات الشكل.

تحديداً، هذه الأشياء:

الاكتمال البنيوي. هل الحقول المطلوبة موجودة؟ هل الحافة لها فاعل ومفعول؟ هل ينقص شيء؟

صلاحية المعرّفات. هل العقدة المُشار إليها موجودة؟ هل ما كُتب على أنه “Samsung Electronics” يشير فعلاً إلى كيان مُعرَّف؟ هل المرجع معلّق؟

توافق الأنواع. هل يوجد تاريخ في حقل التاريخ؟ هل يوجد رقم في حقل الرقم؟ “اليوم 45 من الشهر 13، 2024” يُلتقط هنا.

وجود البيانات الوصفية. هل يوجد حقل مصدر؟ هل يوجد حقل وقت؟ هل الثقة محددة؟ إن لم يكن، ارفض أو علِّم بالغياب أو عيِّن قيمة افتراضية.

سلامة المراجع. هل العقدة التي تشير إليها الحافة موجودة فعلاً؟ هل تشير إلى عقدة محذوفة؟

هذه الفحوصات تشترك في شيء واحد. يمكن إجراؤها جميعاً بدون قراءة المحتوى. لا تعرف ما إذا كانت “القيمة السوقية لشركة Samsung Electronics هي 1,200 تريليون وون” صحيحة. لكنك تعرف ما إذا كان هناك مصدر محدد لهذه العبارة. تعرف ما إذا كان هناك وقت مسجّل لهذه العبارة. تعرف ما إذا كان شكل هذه العبارة يتوافق مع المواصفات.

الرخيص يأتي أولاً

في أنبوب هندسة السياق، للفحوصات ترتيب.

التحقق الميكانيكي: التوافق مع المواصفات. التكلفة قريبة من الصفر. حتمي. التصفية الدلالية: الحكم على الصلة والموثوقية والفائدة. تكلفة عالية. احتمالي. فحص الاتساق: التناقضات بين قطع المعلومات المختارة. تكلفة أعلى. يتطلب تفكيراً.

إذا رتّبتها من الأرخص إلى الأغلى، فإن الفحوصات المكلفة تعالج كمية أقل.

إذا صفّى التحقق الميكانيكي 30% من العبارات التي تفتقر لمصدر، تحتاج التصفية الدلالية إلى معالجة 70% فقط. إذا أزالت التصفية الدلالية غير ذي الصلة، يتعامل فحص الاتساق مع مجموعة أصغر.

هذا نفس مبدأ تحسين استعلامات قواعد البيانات. طبّق الشروط القابلة للتصفية بالفهرس في جملة WHERE أولاً. شروط المسح الكامل تأتي لاحقاً. إذا جاء الرخيص أولاً، ينخفض العبء على الجزء المكلف.

بالعكس، إذا شغّلت الفحص المكلف أولاً والرخيص لاحقاً، تكتشف أخطاء الشكل فقط بعد أن أنفقت التكلفة بالفعل. تحلل معنى عبارة تشير إلى عقدة غير موجودة، لتكتشف بعدها أن المرجع غير صالح.

هذا الترتيب مستحيل في أنبوب اللغة الطبيعية

اللغة الطبيعية ليس لها مواصفات، لذا التحقق الميكانيكي مستحيل. بما أن التحقق الميكانيكي مستحيل، فإن أرخص فحص غير موجود.

وبالتالي، كل فحص هو فحص دلالي. كل فحص يتطلب LLM. كل فحص مكلف.

“هل لهذا الجزء مصدر؟” – يجب أن يقرأه LLM. “هل المرجع الزمني لهذا الجزء مناسب؟” – يجب أن يقرأه LLM. “هل شكل هذا الجزء صحيح؟” – اللغة الطبيعية ليس لها شكل، لذا السؤال نفسه لا ينطبق.

هذا واقع هندسة السياق الحالية. حتى أبسط فحص يُجرى بأغلى أداة. مهمة يمكن أن تنتهي بمقارنة سلاسل نصية يتولاها محرك استدلال.

شروط التحقق المسبقة

لكي يوجد تحقق ميكانيكي، يلزم ثلاثة أشياء.

مواصفات. الشكل الذي يجب أن تتبعه المعلومات يجب أن يُعرَّف. أي الحقول مطلوبة، أي القيم مسموحة، أي المراجع صالحة. بدون مواصفات، لا يمكن تعريف الانتهاكات.

إضفاء الطابع الرسمي. يجب أن تُعبَّر المعلومات بالشكل الذي تتطلبه المواصفات. ليس كجمل لغة طبيعية، بل مُرمَّزة في البنية التي تطلبها المواصفات. المعلومات غير المُرسمَنة لا يمكن فحصها.

سلطة الرفض. يجب أن يكون ممكناً رفض المعلومات غير المتوافقة فعلاً. إذا فحصت لكنك تُمرّر دائماً، فهذا ليس تحققاً. المعلومات غير الصالحة يجب منعها من دخول السياق.

هذه الأشياء الثلاثة مُسلَّم بها في لغات البرمجة. هناك مواصفات تُسمّى القواعد، وشكل يُسمّى الشيفرة، وسلطة رفض تُسمّى المترجم.

في اللغة الطبيعية، الثلاثة غائبة. القواعد ليست مواصفات شكل بل عرف. الجمل ليست أشكالاً مهيكلة بل نص حر. مفهوم “لغة طبيعية غير صالحة” غير موجود، لذا لا يوجد ما يُرفض.

لإدخال التحقق الميكانيكي إلى هندسة السياق، يجب أن يتغير تمثيل المعلومات نفسه.

ملخص

في أنبوب السياق الحالي، المعلومات تدخل السياق بدون فحص. لأن اللغة الطبيعية ليس فيها مفهوم “الجملة غير الصالحة.”

التحقق الميكانيكي لا يتحقق من صحة المحتوى بل من التوافق مع مواصفات الشكل. الاكتمال البنيوي، صلاحية المعرّفات، توافق الأنواع، وجود البيانات الوصفية، سلامة المراجع. حتمي، رخيص، ولا يقرأ المعنى.

في الأنبوب، الفحوصات الرخيصة يجب أن تأتي أولاً. إذا صفّى التحقق الميكانيكي أخطاء الشكل، فإن الأحكام الدلالية المكلفة تعالج كمية أقل.

اللغة الطبيعية ليس لها مواصفات، لذا هذا الفحص مستحيل. كل فحص يصبح فحصاً دلالياً، وكل فحص مكلف.

لكي يكون التحقق الميكانيكي ممكناً، يجب أن تكون هناك مواصفات، وإضفاء طابع رسمي، وسلطة رفض. تمثيل المعلومات نفسه يجب أن يتغير.