كلمة واحدة تخترق ثلاثة عوالم


ثلاثة عوالم

توجد ثلاثة عوالم في علم الحاسوب.

عالم الشبكات. تتدفق البيانات كتدفقات بايت. تدخل البايتات عبر مقابس TCP، وتخرج البايتات. مفردات مهندس الشبكات هي: الحزم، والرؤوس، والحمولات.

عالم التخزين. تُحفظ البيانات بصيغ ملفات. تُكتب على القرص، وتُقرأ من القرص. مفردات مهندس التخزين هي: الكتل، والإزاحات، والمحاذاة.

عالم الذكاء الاصطناعي. تُعالج البيانات كتسلسلات رموز (tokens). تستقبل نماذج LLM الرموز وتُنتج رموزاً. مفردات مهندس الذكاء الاصطناعي هي: التضمينات، والانتباه، والسياق.

هذه العوالم الثلاثة تتحدث بلغات مختلفة. وبينها، تكون الترجمة مطلوبة دائماً.


تكلفة الترجمة

لنتتبع المسار الذي تقطعه البيانات في نظام ذكاء اصطناعي حديث.

تُخزّن المعرفة في ملف. بصيغة JSON أو نص عادي.

لتوصيل هذا إلى الذكاء الاصطناعي:

  1. افتح الملف واقرأ النص.
  2. حلّل النص. إذا كان JSON، فسّر البنية واستخرج الحقول.
  3. أدخل النص المستخرج في المُرمِّز (tokenizer).
  4. يحوّل المُرمِّز النص إلى تسلسل من معرّفات الرموز.
  5. يُدخَل تسلسل الرموز في نموذج LLM.

عندما يُنشئ الذكاء الاصطناعي استجابة:

  1. يُخرج نموذج LLM تسلسل رموز.
  2. فكّ ترميز الرموز إلى نص.
  3. حوّل النص إلى صيغة منظمة (serialize).
  4. اكتب البيانات المُسلسلة في ملف.

عملية بسيطة من “قراءة وكتابة” تتطلب تسع خطوات.

كل خطوة تستهلك وقتاً. كل خطوة تستهلك ذاكرة. كل خطوة تنطوي على خطر فقدان المعلومات.

الخطوتان 3 و4 – عملية الترميز – معروفة بمشكلاتها. لأن حدود كلمات اللغة الطبيعية لا تتوافق مع حدود رموز المُرمِّز، فقد يُقسَم اسم علم مثل “Yi Sun-sin” إلى أجزاء عشوائية، أو تتبعثر وحدة دلالية واحدة عبر رموز متعددة.

هذا هو ثمن تحدّث ثلاثة عوالم بلغات مختلفة.


ماذا لو اخترقت وحدة واحدة العوالم الثلاثة؟

في هذه اللغة، الكلمة الواحدة 16 بت (بايتان).

صُمّمت هذه الكلمة الواحدة من 16 بت لتؤدي ثلاثة أدوار في آن واحد.

وحدة تدفق البايتات. تصل كلمات الـ16 بت متتابعة عبر الشبكة. Big Endian. محاذاة على بايتين. يكفي أن تُقرأ بترتيب وصولها.

وحدة صيغة الملف. اكتب التدفق كما هو على القرص، فهذا هو الملف. اقرأ البايتات من القرص وأرسلها كما هي عبر الشبكة، فهذا هو التدفق. لا تسلسل ولا فك تسلسل.

وحدة مفردات LLM. 16 بت = 65,536 رمزًا. تتراوح أحجام مفردات نماذج LLM الحديثة بين عشرات الآلاف ومئات الآلاف. يستخدم GPT-2 نحو 50,000، والنماذج الحديثة بين 100,000 و200,000 تقريبًا. يقع 65,536 داخل هذا النطاق. كلمة الـ16 بت وحدة بحجم يستطيع LLM أن يتعلّمه مفرداتٍ.

ثلاثة عوالم تتشارك الوحدة نفسها. فتقلّ الترجمة.


التدفق هو الملف

لنرَ ما يعنيه ذلك عمليًا.

الطريقة التقليدية: 9 خطوات

[File] -> Read -> Parse -> Extract text -> Tokenize -> [LLM]
[LLM] -> Decode -> Serialize -> Write -> [File]

طريقة GEUL

[Stream] = [File]                          same bytes
[File] -> read record by record, skipping  no codebook needed

اكتب التدفق كما هو فيكون ملفًا، وأرسل الملف كما هو فيكون تدفقًا. لا تسلسل ولا فك تسلسل. الكلمة الأولى من كل سجل (TAG WORD) تبيّن نوعه وطوله، فتُتخطّى السجلات غير المطلوبة دون تفسيرها.

أما جانب LLM فما زال هدفًا. الكلمة الواحدة ليست رمزًا (token) واحدًا. يمتد السجل على عدة كلمات، والنص محمول سلسلةَ بايتات. ومع ذلك، حين تكون الوحدة ثابتة على 16 بت، لا يحتاج المُرمِّز إلى تخمين الحدود؛ بل يتبع حدودًا معطاة سلفًا. لا يُقسَم “يي سون سين” في موضع اعتباطي، لأنه سجل Reference واحد يشير إلى ويكي بيانات Q50184.


لماذا ليس 8 بت؟

8 بتات تمنحك 256 رمزاً مميزاً.

256 رمزاً أقل بكثير مما يلزم لتمثيل العالم. خصّص الحروف الأبجدية والأرقام وعلامات الترقيم الأساسية، وقد استُنفد نصف الفضاء بالفعل.

إذا استخدمت 8 بتات كوحدتك الأساسية، فإن معظم الرموز ذات المعنى تتطلب 2 بايت أو أكثر. هذا يفرض ترميزاً متغير الطول، والطول المتغير يجعل التحليل معقداً.

كافٍ كوحدة تدفق بايت، لكنه غير كافٍ كوحدة رمز.


لماذا ليس 32 بت؟

32 بت تعطي نحو 4.3 مليار رمز.

القدرة التعبيرية أكثر من كافية. لكن المشكلة في الكفاءة.

أصغر سجل في هذه اللغة كلمة واحدة: علامات مثل BODY وEND تتكوّن من TAG WORD واحدة. وReference إلى ويكي بيانات Q42 كلمتان، وTRIPLE واحد يقول “Q42 إنسان” عشر كلمات. بكلمات من 16 بت يكون هذا الـTRIPLE عشرين بايتًا، وبكلمات من 32 بت أربعين. يتضاعف حجم السجل نفسه.

ومن منظور LLM هناك مشكلة أيضًا. مفردات من 32 بت فيها 4.3 مليار رمز أكبر بعشرات آلاف المرات من مفردات أي LLM. لا توجد بيانات ولا نماذج لتعلّم مفردات بهذا الحجم.

كلمة الـ32 بت مفرطة بوصفها وحدةً لهذه اللغة.


لماذا ليس الطول المتغير؟

UTF-8 هو ترميز متغير الطول. يتراوح طول الحرف من 1 بايت إلى 4 بايتات حسب الحرف.

هذا يوفر مزايا في كفاءة التخزين، لكنه يُدخل ضعفاً قاتلاً في كفاءة المعالجة.

للعثور على الحرف رقم n، يجب أن تعدّ من البداية. الوصول العشوائي مستحيل. المعالجة المتوازية بـ SIMD تصبح صعبة.

هذه اللغة تستخدم كلمات 16 بت ثابتة العرض كوحدتها الأساسية. موقع الكلمة رقم n هو دائماً n × 2 بايت. الوصول العشوائي هو O(1). SIMD يمكنها مقارنة عدة كلمات في تعليمة واحدة. GPU يمكنها مسح مليارات الكلمات بالتوازي.

ومع ذلك، يُسمح بالطول المتغير على مستوى السجل. يتراوح طول السجل بين كلمة واحدة و2³²−1 كلمة، والطول مكتوب في الكلمة الأولى. وحدة الكلمة ثابتة، أما وحدة السجل فمرنة.

كفاءة المعالجة للعرض الثابت مع القدرة التعبيرية للطول المتغير. كلمة 16 بت تحقق كلا الأمرين في آن واحد.


المسار الذي أثبته Unicode

Unicode هو أنجح معيار ترميز صنعته البشرية.

الوحدة الأساسية في UTF-16 هي 16 بت (بايتان). يمثّل محارف المستوى متعدد اللغات الأساسي (BMP) بكلمة واحدة، ويمدّ ما عداها بالأزواج البديلة (كلمتان = 4 بايتات).

وGEUL تتبع البنية نفسها. الصيغ الشائعة تُحمل رمزًا مباشرًا داخل TAG WORD واحدة، والنادرة تُمدّ بـTAG امتداد.

وكما يعبّر Unicode عن كل محارف العالم فوق الوحدة الأساسية “محرف واحد = بايتان”، تعبّر GEUL عن العبارات ومصادرها وأسسها فوق الوحدة الأساسية “كلمة واحدة = بايتان”.


التوافق الخلفي والامتداد العلوي

قوة أخرى لـ 16 بت هي المحاذاة.

16 هو مضاعف لـ 8، وقاسم لـ 32، وقاسم لـ 64، وقاسم لـ 128.

هذا يعني أن المحاذاة لا تنكسر أبداً، مهما كان اتجاه التوسيع.

ماذا لو تغيرت بنية المحوّل (transformer) في المستقبل وأصبحت الرموز 32 بت؟ كلمتان من 16 بت تشكلان رمزاً واحداً. لا مشاكل محاذاة.

ماذا عن 64 بت؟ أربع كلمات من 16 بت تشكل رمزاً واحداً. لا تزال بلا مشاكل محاذاة.

والعكس، ماذا لو عالج نظام مدمج 8 بت هذه الصيغة؟ ببساطة اقرأ كل كلمة 16 بت كبايت عالٍ وبايت منخفض.

يجب الحفاظ على التوافق الخلفي بشكل مطلق. كلمة 16 بت تضمن هذا على المستوى الفيزيائي.

لا يمكننا التنبؤ بحجم كلمة الذكاءات المستقبلية، لكن المحاذاة المتعددة لـ 16 بت تضمن التوافق مع أي حجم.


البنية الثلاثية

لنلخّص.

صُمّمت كلمة الـ16 بت الواحدة لتكون وحدة ثلاثة عوالم.

العالمدور الكلمة الواحدة
الشبكةوحدة تدفق البايتات
التخزينوحدة صيغة الملف
الذكاء الاصطناعيوحدة مفردات LLM (هدف)

وحدة واحدة تخترق العوالم الثلاثة.

خزّن التدفق كما هو فيكون ملفًا. أرسل الملف كما هو فيكون تدفقًا. وجعلها تتعشّق مع LLM كلمةً كلمة هو الخطوة التالية.

تحويل أقل. ترجمة أقل. فقدان أقل.

لهذا 16 بت. لا 8، ولا 32، ولا طول متغير. الرقم الواقع بالضبط عند تقاطع العوالم الثلاثة.