لماذا لا تكفي متجهات التضمين

المتجهات ممتازة للحساب، لكن يستحيل تفسيرها. لا يمكنك جعل داخل الصندوق الأسود شفافاً.

متجهات التضمين تقنية مذهلة

“ملك - رجل + امرأة = ملكة.”

حين أظهر word2vec هذا، ذُهل العالم. مثِّل الكلمات كمتجهات بمئات الأبعاد، وستظهر العلاقات الدلالية كعمليات حسابية على المتجهات.

متجهات التضمين هي أساس نماذج اللغة الكبيرة (LLM). كل شيء في المحوّل (Transformer) هو حساب متجهات. الرموز تصبح متجهات. الانتباه يحسب التشابه بين المتجهات. المخرجات تُحوَّل من متجهات إلى رموز.

المعاني المتشابهة متجهات متقاربة. المعاني المختلفة متجهات متباعدة. البحث هو حساب تشابه المتجهات. التصنيف هو رسم حدود في فضاء المتجهات.

لولا متجهات التضمين، لما وُجد الذكاء الاصطناعي الحالي.

إذاً، لمَ لا نستخدم متجهات التضمين لتمثيل المعرفة؟ نرتبها مباشرة، ونهيكلها، ونجعلها قابلة للتفسير.

لا ينجح ذلك. أضمن طريقة لمعرفة ذلك هي المحاولة.

AILEV: حاولنا

بدأ مشروع GEUL في الأصل تحت اسم AILEV.

AI Language Embedding Vector.

الاسم نفسه يعلن الهدف: لغة ذكاء اصطناعي تتعامل مباشرة مع متجهات التضمين.

كان المفهوم كالتالي:

تمثيل المعنى بمتجهات من 512 بُعداً. تخصيص أدوار لمقاطع المتجه. أول 128 بُعداً للكيانات، و128 التالية للعلاقات، و128 التالية للخصائص، والباقي للبيانات الوصفية. تماماً كما يُفكّك نموذج RGBA اللون إلى أربع قنوات، نُفكّك المعنى إلى مقاطع بُعدية.

تدريب BERT على تحويل اللغة الطبيعية إلى هذه المتجهات المهيكلة. عند إدخال “سيول عاصمة كوريا”، يُنتج مقطع الكيانات متجه سيول، ومقطع العلاقات متجه العاصمة، ومقطع الخصائص متجه كوريا.

بما أنها متجهات، فالحساب ممكن. البحث بالتشابه ممكن. تقليل الأبعاد يمنح تدهوراً رشيقاً. الانتقال من 512 إلى 256 بُعداً يُفقد الدقة لكنه يحفظ المعنى الجوهري.

كان أنيقاً. نظرياً.

لماذا يفشل

إعادة ترتيب المتجهات عشوائياً تكسر النموذج

متجهات التضمين في LLM هي نتاج التدريب.

بعد قراءة مليارات النصوص، يُحسّن النموذج تمثيلاته الداخلية بنفسه. ما يعنيه كل بُعد هو شيء قرره النموذج، لا الإنسان.

ماذا يحدث إن أعلنتَ “أول 128 بُعداً للكيانات”؟

في فضاء المتجهات الذي تعلّمه النموذج، معلومات الكيانات لا تقع في أول 128 بُعداً. إنها موزعة عبر كل الأبعاد الـ768. معلومات العلاقات والخصائص والأزمنة — كلها مختلطة.

هذا ليس خطأ في التصميم، بل طبيعة التعلّم. الانتشار العكسي (backpropagation) يجد ترتيب المتجهات الأمثل للمهمة. لا يجد ترتيباً قابلاً للتفسير. الأمثل والقابل للتفسير ليسا الشيء نفسه.

إن أعدتَ ترتيب المتجهات قسراً — “الكيانات هنا، والعلاقات هناك” — تنكسر العلاقات الإحصائية التي تعلّمها النموذج. ينخفض الأداء.

إعادة الترتيب دون كسر تعني إعادة بناء النموذج

إذاً، لمَ لا ندرّب من الصفر مع قيد “أول 128 بُعداً للكيانات”؟

ممكن. نظرياً. لكن هذا ليس محاذاة متجهات تضمين. إنه تصميم بنية نموذج جديدة.

تحتاج إلى بيانات تدريب. مليارات الرموز. تحتاج إلى بنية تحتية. آلاف وحدات GPU. تحتاج إلى وقت تدريب. أشهر. وليس هناك ضمان أن النموذج الناتج سيعمل بكفاءة النماذج الكبيرة الحالية.

الجهد أكبر من اللازم.

مشكلة “محاذاة المتجهات لجعلها قابلة للتفسير” تحوّلت إلى “إعادة بناء LLM من الصفر”. هذا ليس حلاً للمشكلة بل توسيعاً لها.

التفسير مستحيل

لنفترض أنك نجحت فعلاً في إنشاء متجه مهيكل. متجه من 512 بُعداً. ولنقل إن أول 128 بُعداً للكيانات.

قيمة مقطع الكيانات هي [0.23, -0.47, 0.81, 0.12, ...].

كيف تعرف إن كان هذا “سامسونج إلكترونيكس” أم “هيونداي موتور”؟

يجب أن تجد أقرب متجه. يجب أن تحسب التشابه في قاعدة بيانات متجهات. فتحصل على إجابة احتمالية: “على الأرجح سامسونج إلكترونيكس.”

“على الأرجح.”

المتجهات متصلة بطبيعتها. بين متجهَي سامسونج إلكترونيكس وSK هاينكس يوجد عدد لا نهائي من المتجهات الوسيطة. لا أحد يعرف ما تعنيه تلك المتجهات الوسيطة.

هذا ليس قيداً تقنياً بل حقيقة رياضية. تمثيل معانٍ منفصلة في فضاء متصل يجعل الحدود ضبابية. الغموض كان مشكلة اللغة الطبيعية. انتقلنا إلى المتجهات، فعاد الغموض.

تغيّر الشكل فقط. في اللغة الطبيعية، غموض الكلمات. في المتجهات، غموض الإحداثيات.

مبدأ الصندوق الأبيض

هنا تتكشّف المسألة التصميمية الجوهرية.

متجهات التضمين صندوق أسود. عند النظر إلى متجه من 768 بُعداً من الأعداد الحقيقية، لا يمكن لأحد معرفة أي معلومات مُرمّزة وأين. النموذج نفسه لا يستطيع تفسير ذلك.

هذه ليست سمة مزعجة بل خاصية وجودية. هذا تحديداً هو سبب نجاح المتجهات. لأنها ترتّب المعلومات بطرق لم يصممها البشر، فتعمل أفضل من أي تصميم بشري. عدم القابلية للتفسير ليس عيباً بل ميزة.

لكن المعرفة المستخدمة كسياق للذكاء الاصطناعي تتطلب العكس.

يجب معرفة المصدر. يجب معرفة التوقيت. يجب معرفة مستوى الثقة. يجب معرفة موضوع العبارة. يجب معرفة ما إذا كانت عبارتان تشيران إلى الكيان نفسه.

كل متطلب هو “يجب المعرفة”. كل متطلب يستوجب قابلية التفسير.

تلبية متطلبات الصندوق الأبيض بمتجه صندوق أسود تناقض.

منطق التحوّل

التحوّل من AILEV إلى GEUL لم يكن تراجعاً. بل كان إعادة تعريف للمشكلة.

المشكلة الأصلية: نماذج LLM صناديق سوداء. لنجعل الداخل شفافاً. ← لنجعل متجهات التضمين قابلة للتفسير بمحاذاتها. ← لمس المتجهات يكسر النموذج. ← تجنّب الكسر يعني إعادة بناء النموذج. ← طريق مسدود.

المشكلة المُعاد تعريفها: لا حاجة لجعل داخل الصندوق الأسود شفافاً. لنبنِ طبقة شفافة في الخارج. ← لا نمسّ داخل LLM. ← خارج LLM، ننشئ نظام تمثيل قابلاً للتفسير. ← يستطيع LLM قراءة هذا النظام والكتابة فيه. لأنه رموز. ← لغة اصطناعية.

ليس متجهات بل لغة. ليس متصلاً بل منفصلاً. ليس غير قابل للتفسير بل التفسير هو غايته الوحيدة. ليس داخل النموذج بل خارجه.

حُذف “Embedding Vector” من AILEV، وحلّ محله GEUL — ومعناه “كتابة”. هذا هو السبب.

المتجهات للحساب، واللغة للتعبير

هذا ليس رفضاً لمتجهات التضمين.

المتجهات مُحسّنة للحساب. البحث بالتشابه، التجميع، التصنيف، الاسترجاع. اللغة لا تستطيع أن تحلّ محل ما تفعله المتجهات.

اللغة مُحسّنة للتعبير. هوية الكيانات، وصف العلاقات، البيانات الوصفية المدمجة، قابلية التفسير. المتجهات لا تستطيع أن تحلّ محل ما تفعله اللغة.

هما أداتان في طبقتين مختلفتين.

داخل LLM، تعمل المتجهات. صندوق أسود. كما ينبغي. خارج LLM، تعمل اللغة. صندوق أبيض. كما ينبغي.

بدأت المشكلة حين خلطنا بين الطبقتين. حاولنا أن نجعل المتجهات تؤدي عمل اللغة. حاولنا أن نُسند إلى صندوق أسود دور صندوق أبيض.

لكلٍّ مكانه.

الملخص

متجهات التضمين أساس نماذج LLM وتقنية مذهلة. لكن كوسيلة لتمثيل المعرفة، لها حدود جوهرية.

بدأ GEUL باسم AILEV (AI Language Embedding Vector). كان الهدف محاذاة المتجهات مباشرة وجعلها قابلة للتفسير. فشل. لسببين.

محاذاة المتجهات عشوائياً تكسر العلاقات التي تعلّمها النموذج. المحاذاة دون كسر تعني إعادة بناء النموذج من الصفر. الجهد أكبر من اللازم.

وحتى لو نجح ذلك، فالمتجهات لا يمكن تفسيرها. في الفضاء المتصل، حدود المعنى المنفصل ضبابية. لا يمكن إسناد دور الصندوق الأبيض إلى صندوق أسود.

منطق التحوّل: حاولنا جعل داخل الصندوق الأسود شفافاً. لمس الداخل يكسره. بدلاً من ذلك، نترك الداخل ونبني طبقة شفافة في الخارج. ليس متجهات بل لغة. ليس داخل النموذج بل خارجه.

المتجهات للحساب، واللغة للتعبير. لكلٍّ مكانه.