المعلومات الصحيحة فردياً قد تكون خاطئة جماعياً.
اجتاز التحقق. اجتازت التصفية.
التحقق الميكانيكي صفّى أخطاء الشكل. التصفية اختارت بناءً على الصلة والموثوقية والحداثة.
بقيت 30 معلومة. كلها صالحة، كلها ذات صلة، كلها موثوقة، كلها حديثة.
هل تُدخل هذه الـ 30 في السياق؟
لا. شيء آخر يجب فحصه. هل تتناقض هذه الـ 30 فيما بينها؟
التناقض ليس خاصية للمعلومة الفردية
تأمّل هاتين العبارتين.
- المصدر: إفصاح علاقات المستثمرين لشركة Samsung Electronics، أكتوبر 2024. “الرئيس التنفيذي لشركة Samsung Electronics: جون يونغ-هيون.”
- المصدر: إفصاح علاقات المستثمرين لشركة Samsung Electronics، مارس 2024. “الرئيس التنفيذي لشركة Samsung Electronics: كيونغ كي-هيون.”
فردياً، كلتاهما صالحتان. الشكل صحيح، المصدر موجود، الوقت موجود، وهما موثوقتان. تجتازان التحقق. تجتازان التصفية.
لكن عندما تدخلان نفس السياق، تظهر مشكلة. هل الرئيس التنفيذي لشركة Samsung Electronics هو جون يونغ-هيون أم كيونغ كي-هيون؟
لا عبارة منهما خاطئة. في مارس، كان كيونغ كي-هيون صحيحاً. في أكتوبر، جون يونغ-هيون هو الصحيح. فردياً، كلتاهما صحيحتان. لكن عندما تتعايشان في السياق، يرتبك LLM.
هذه مشكلة الاتساق. تنشأ ليس من المعلومة الفردية بل من مجموعة المعلومات. التحقق يفحص المعلومة الفردية. التصفية تفحص المعلومة الفردية. فحص الاتساق يفحص الفراغ بين المعلومات.
أنواع التناقض
التناقضات في السياق تقع في عدة أنواع.
التناقض الزمني
الأكثر شيوعاً.
نفس خاصية نفس الكيان تغيرت عبر الزمن، وقيم من نقاط زمنية مختلفة تتعايش في السياق.
“الرئيس التنفيذي لشركة Tesla: إيلون ماسك” و “سعر سهم Tesla: 194 دولاراً” في نفس السياق، لكن معلومة الرئيس التنفيذي من 2024 وسعر السهم من يونيو 2023. قد يعاملهما LLM كمعلومات من نفس النقطة الزمنية.
حالات أدقّ تنشأ أيضاً. “سعر الفائدة الأساسي في كوريا الجنوبية: 3.50%” من يناير 2024، و “تضخم أسعار المستهلك في كوريا الجنوبية: 2.0%” من أكتوبر 2024. كلاهما صالح وكلاهما يتعلق بالاقتصاد الكوري، لكن هناك فجوة 9 أشهر. ما إذا كانت هذه الفجوة تؤثر على الاستدلال يعتمد على السياق.
التناقض بين المصادر
مصادر مختلفة تقدّم قيماً مختلفة لنفس الحقيقة.
- المصدر أ: “حجم سوق الذكاء الاصطناعي العالمي في 2024: 184 مليار دولار.”
- المصدر ب: “حجم سوق الذكاء الاصطناعي العالمي في 2024: 214 مليار دولار.”
لا يمكن الإعلان قطعياً أن أياً منهما “خاطئ.” قد يختلف تعريف نطاق السوق. قد تختلف طرق القياس. لكن إذا كان كلاهما في السياق، فعلى LLM أن يختار أحدهما، أو يمزجهما، أو يرتبك.
التناقض الاستدلالي
ليست قيماً متناقضة مباشرة، لكنها غير متوافقة منطقياً عند وضعها معاً.
“حصة الشركة أ في السوق: 60%.” “حصة الشركة ب في السوق: 55%.”
كل منهما صالح. لكن مجموعهما 115%. بإضافة المنافسين المتبقين يتجاوز 100%. أحدهما من وقت مختلف، أو يستخدم تعريف سوق مختلفاً، أو خاطئ.
هذا النوع من التناقض لا يمكن اكتشافه بالنظر إلى العبارات الفردية. يجب فحص المجموعة.
نماذج LLM لا تتعامل مع التناقضات جيداً
نظرياً، يجب أن يتمكن LLM من اكتشاف التناقضات وحلها. “هاتان المعلومتان تختلفان في الوقت، لذا سأجيب بناءً على الأحدث.”
عملياً، ليس هذا ما يحدث.
نماذج LLM تميل إلى الوثوق بالمعلومات في السياق. فعل وضع شيء في السياق بحد ذاته إشارة تقول “ارجع إلى هذا.” عند وجود معلومتين متناقضتين، يميل LLM إلى الرجوع لكليهما بدلاً من تجاهل إحداهما. النتيجة مزج أو ارتباك.
اكتشاف التناقض يتطلب تفكيراً. معرفة أن “الرئيس التنفيذي: جون يونغ-هيون” و"الرئيس التنفيذي: كيونغ كي-هيون" متناقضان يتطلب المعرفة الخلفية بأنه يوجد رئيس تنفيذي واحد فقط في وقت معين. التحقق مما إذا كان مجموع حصص السوق يتجاوز 100% يتطلب حساباً. هذا يعتمد على قدرة LLM التفكيرية.
الحل أصعب. حتى لو اكتُشف تناقض، يجب اتخاذ حكم حول أي الطرفين يُختار. الأحدث؟ المصدر الأكثر موثوقية؟ المدعوم بمصادر أكثر؟ إذا تُرك هذا الحكم لـ LLM، فلا ضمان للاتساق. لنفس التناقض، يختار أ أحياناً وب أحياناً أخرى.
في الخلاصة، التعامل مع التناقضات بعد دخولها السياق مكلف والنتيجة غير مؤكدة. التناقضات يجب حلها قبل دخول السياق.
لماذا فحص الاتساق صعب في اللغة الطبيعية
افترض أنك تفحص اتساق 30 جزءاً بلغة طبيعية.
أولاً، يجب تحديد ما إذا كانت عن نفس الموضوع. ما إذا كان “Samsung Electronics” و"سامسونغ إلكترونيكس" و"سامسونغ" تشير إلى نفس الكيان. في اللغة الطبيعية، هذا غير مؤكد. ما إذا كان “سامسونغ” يعني Samsung Electronics أو Samsung C&T أو Samsung Life يتطلب قراءة السياق.
بعد ذلك، يجب تحديد ما إذا كانت تصف نفس الخاصية. ما إذا كانت “الإيرادات” و"المبيعات" و"إجمالي الإيرادات" و"الإيرادات الإجمالية" هي نفسها. ما إذا كان “الربح التشغيلي” و"الربح من العمليات" و"هامش التشغيل" نفس الشيء أو مختلفاً.
بعد ذلك، يجب استخراج المراجع الزمنية. متى كان “الربع الماضي”؟ متى كان “مؤخراً”؟ متى كان “هذا العام”؟
فقط بعد كل هذا يمكنك أخيراً مقارنة ما إذا كانت عبارتان متناقضتين.
مع 30 عبارة، هناك 435 زوج مقارنة. كل زوج يجب أن يمر بالعملية أعلاه. كله تفكير LLM. كله مكلف. كله احتمالي.
فحص الاتساق في التمثيلات المهيكلة
في التمثيل المهيكل، الوضع مختلف.
تحديد الكيان حتمي. الكيان “Samsung Electronics” له معرّف فريد. “سامسونغ إلكترونيكس” يشير إلى نفس المعرّف. لا حاجة لتفكير لتحديد الهوية.
الخصائص صريحة. “الإيرادات” خاصية مُنمَّطة. “هامش التشغيل” خاصية مختلفة. ما إذا كانت خاصيتان متماثلتين أو مختلفتين يُؤكَّد بمقارنة الحقول.
الوقت حقل. توجد قيمة مثل “2024-Q3.” لا حاجة لتفسير “الربع الماضي.” ما إذا كانت عبارتان تشتركان في نفس الوقت مقارنة قيمة واحدة.
عندما تكون هذه الأشياء الثلاثة حتمية، تصبح أنماط اكتشاف التناقض قابلة للأتمتة.
نفس الكيان + نفس الخاصية + نفس الوقت + قيمة مختلفة = تناقض. نفس الكيان + نفس الخاصية + وقت مختلف + قيمة مختلفة = تغيُّر. ليس تناقضاً. كيان مختلف + نفس الخاصية + نفس الوقت + مجموع القيم > 100% = تناقض استدلالي.
لا حاجة لـ LLM لهذا. مقارنة حقول وحساب.
ليس كل التناقضات يمكن اكتشافها. ما إذا كان “سوق الذكاء الاصطناعي ينمو” و"الاستثمار في الذكاء الاصطناعي يتراجع" متناقضين لا يزال يتطلب حكماً دلالياً. لكن إذا اكتُشفت التناقضات القابلة للكشف ميكانيكياً أولاً، تبقى فقط الحالات التي تتطلب حكماً دلالياً. مرة أخرى، الرخيص يأتي أولاً.
استراتيجيات حل فحوصات الاتساق
بعد اكتشاف تناقض، يجب حله.
استراتيجيات الحل تختلف بحسب السياق، لكن في التمثيل المهيكل يمكن إعلانها كسياسة.
الأحدث أولاً. عندما تتعارض نفس خاصية نفس الكيان، اختر ذات الطابع الزمني الأحدث. مناسب للقيم المتغيرة مثل الرئيس التنفيذي، سعر السهم، عدد السكان.
الأعلى ثقة أولاً. اختر ذات الثقة الأعلى. أو إذا عُرِّفت تراتبية مصادر، اختر المصدر الأعلى رتبة. مصدر أولي > مصدر ثانوي > مصدر غير رسمي.
اعرض كليهما. لا تحلّ التناقض. أدخل كليهما في السياق، لكن علِّم التناقض صراحةً. “المصدر أ يقول 184 مليار دولار؛ المصدر ب يقول 214 مليار دولار. على الأرجح بسبب اختلاف التعريفات.” دع LLM يفكّر مع إدراك التناقض.
استبعد كليهما. إذا لم يمكن حل التناقض، استبعد الطرفين. لا معلومات أفضل من معلومات خاطئة.
في أنبوب اللغة الطبيعية، هذه الاستراتيجيات تُكتب بلغة طبيعية في الموجّه. “يرجى إعطاء الأولوية للمعلومات الأحدث.” ما إذا كان LLM يتبع هذا باستمرار، مرة أخرى، مسألة احتمال.
في التمثيل المهيكل، هذه الاستراتيجيات تُعلَن كسياسة. “عند تعارض نفس الكيان + نفس الخاصية: الطابع الزمني الأحدث أولاً. إذا تساوت الأوقات: الثقة الأعلى أولاً. إذا تساوت الثقة: اعرض كليهما.” الآلة تنفّذها. ليس احتمالاً.
الموقع في الأنبوب
فحص الاتساق يأتي بعد التصفية.
التحقق -> التصفية -> الاتساق.
لماذا هذا الترتيب؟
التحقق يصفّي أخطاء الشكل. التصفية تزيل المعلومات غير الضرورية. فحص الاتساق يحتاج فقط لمعالجة ما اجتاز التحقق والتصفية.
فحص الاتساق يقارن أزواجاً. لعدد n عبارة، هناك n(n-1)/2 زوج. 1,000 تنتج نحو 500,000 زوج. 30 تنتج 435.
إذا قلّص التحقق والتصفية 1,000 إلى 30، تنخفض تكلفة فحص الاتساق من 500,000 إلى 435 – جزء من الألف.
الترتيب مهم.
ملخص
المعلومات الصالحة فردياً وذات الصلة والموثوقة قد تتناقض فيما بينها عند جمعها كمجموعة.
هناك ثلاثة أنواع من التناقض. التناقض الزمني – قيم من نقاط زمنية مختلفة تتعايش. التناقض بين المصادر – مصادر مختلفة تقدّم قيماً مختلفة. التناقض الاستدلالي – صالحة فردياً، لكنها غير متوافقة منطقياً عند الجمع.
نماذج LLM لا تتعامل مع التناقضات جيداً. تميل إلى الوثوق بالمعلومات في السياق، واكتشاف التناقض يتطلب تفكيراً، واتساق الحل غير مضمون.
في اللغة الطبيعية، فحص الاتساق هو تفكير LLM من البداية إلى النهاية. تحديد الكيان، تحديد الخاصية، استخراج الوقت، مقارنة القيم – كله احتمالي ومكلف.
في التمثيل المهيكل، معرّفات الكيانات وأنواع الخصائص وحقول الوقت موجودة، لذا كثير من اكتشاف التناقض يتحوّل إلى مقارنة حقول وحساب. استراتيجيات الحل أيضاً تُعلَن كسياسة.
فحص الاتساق يأتي بعد التصفية في الأنبوب. التحقق والتصفية يجب أن يقلّصا المجموعة ليتقلص عدد أزواج المقارنة. الرخيص يأتي أولاً، والفحوصات الجماعية تأتي بعد انتهاء الفحوصات الفردية.