Одно слово пронизывает три мира


Три мира

В информатике существуют три мира.

Мир сетей. Данные текут как потоки байтов. Байты поступают через TCP-сокеты и байты уходят обратно. Словарь сетевого инженера – пакеты, заголовки и полезные нагрузки.

Мир хранения. Данные сохраняются в файловых форматах. Записываются на диск, считываются с диска. Словарь инженера хранения – блоки, смещения и выравнивание.

Мир ИИ. Данные обрабатываются как последовательности токенов. LLM принимают токены на входе и выдают токены на выходе. Словарь инженера ИИ – эмбеддинги, внимание и контекст.

Эти три мира говорят на разных языках. И между ними всегда требуется перевод.


Цена перевода

Проследим путь данных через современную систему ИИ.

Знание хранится в файле. В формате JSON или обычного текста.

Чтобы передать это ИИ:

  1. Открыть файл и прочитать текст.
  2. Разобрать текст. Если это JSON, интерпретировать структуру и извлечь поля.
  3. Подать извлечённый текст в токенизатор.
  4. Токенизатор преобразует текст в последовательность идентификаторов токенов.
  5. Последовательность токенов подаётся в LLM.

Когда ИИ генерирует ответ:

  1. LLM выдаёт последовательность токенов.
  2. Декодировать токены обратно в текст.
  3. Сериализовать текст в структурированный формат.
  4. Записать сериализованные данные в файл.

Простая операция “прочитать и записать” требует девяти шагов.

Каждый шаг стоит времени. Каждый шаг стоит памяти. На каждом шаге возможна потеря информации.

Шаги 3 и 4 – процесс токенизации – печально известны своей проблематичностью. Поскольку границы слов в естественном языке не совпадают с границами токенов токенизатора, имя собственное вроде “Ли Сунсин” может быть разбито на произвольные фрагменты, или одна семантическая единица оказывается рассеянной по нескольким токенам.

Такова цена того, что три мира говорят на разных языках.


Что, если бы единый элемент пронизывал все три мира?

В этом языке одно слово — это 16 бит (2 байта).

Одно 16-битное слово спроектировано так, чтобы одновременно играть три роли.

Единица потока байтов. 16-битные слова непрерывно поступают по сети. Big Endian. Выравнивание по 2 байта. Достаточно читать их в порядке поступления.

Единица формата файла. Запишите поток на диск как есть — это файл. Прочитайте байты с диска и отправьте в сеть как есть — это поток. Ни сериализации, ни десериализации.

Единица словаря LLM. 16 бит = 65 536 символов. Размер словаря современных LLM — от десятков до сотен тысяч. У GPT-2 около 50 000, у недавних моделей — примерно от 100 000 до 200 000. 65 536 лежит внутри этого диапазона. 16-битное слово — единица такого размера, который LLM может выучить как словарь.

Три мира используют одну и ту же единицу. Перевода становится меньше.


Поток и есть файл

Посмотрим, что это значит конкретно.

Традиционный подход: 9 шагов

[Файл] -> Чтение -> Разбор -> Извлечение текста -> Токенизация -> [LLM]
[LLM] -> Декодирование -> Сериализация -> Запись -> [Файл]

Подход GEUL

[Поток] = [Файл]                              те же байты
[Файл] -> чтение по записям, с пропуском      без кодовой книги

Запишите поток как есть — получится файл. Отправьте файл как есть — получится поток. Ни сериализации, ни десериализации. Первое слово каждой записи (TAG WORD) сообщает её вид и длину, поэтому ненужные записи пропускаются без интерпретации.

Сторона LLM — пока цель. Одно слово — не то же самое, что один токен. Запись состоит из нескольких слов, а текст хранится как строка байтов. И всё же, когда единица зафиксирована на 16 битах, токенизатору не нужно угадывать границы — он следует уже заданным. «Ли Сунсин» не разрывается в случайном месте, потому что это одна запись Reference, указывающая на Викиданные Q50184.


Почему не 8 бит?

8 бит дают 256 различных символов.

256 символов – слишком мало для представления мира. Присвойте алфавит, цифры и основную пунктуацию – и половина пространства уже занята.

Если использовать 8 бит как фундаментальную единицу, большинство значимых токенов потребуют 2 или более байтов. Это вынуждает использовать кодирование переменной длины, а переменная длина усложняет разбор.

Достаточно как единица потока байтов, но недостаточно как единица токена.


Почему не 32 бита?

32 бита дают около 4,3 миллиарда символов.

Выразительной силы более чем достаточно. Но проблема в эффективности.

Самая маленькая запись в этом языке — 1 слово: маркеры вроде BODY и END, состоящие из одного TAG WORD. Reference на Викиданные Q42 занимает 2 слова, а один TRIPLE «Q42 — человек» — 10 слов. При 16-битных словах этот TRIPLE занимает 20 байт. При 32-битных — 40. Та же запись вырастает вдвое.

С точки зрения LLM тоже есть проблема. 32-битный словарь из 4,3 миллиарда символов в десятки тысяч раз больше словаря любой LLM. Нет ни данных, ни моделей, чтобы выучить такой словарь.

32-битное слово избыточно как единица этого языка.


Почему не переменная длина?

UTF-8 – кодирование переменной длины. Длина символа варьируется от 1 до 4 байт в зависимости от символа.

Это даёт преимущества в эффективности хранения, но вносит фатальную слабость в эффективность обработки.

Чтобы найти n-й символ, нужно считать от начала. Произвольный доступ невозможен. SIMD-параллельная обработка становится затруднительной.

Этот язык использует слова фиксированной ширины в 16 бит как фундаментальную единицу. Позиция n-го слова всегда равна n * 2 байта. Произвольный доступ – O(1). SIMD может сравнить несколько слов одной инструкцией. GPU могут сканировать миллиарды слов параллельно.

Тем не менее на уровне записей переменная длина допускается. Длина записи — от 1 до 2³²−1 слов, и она записана в первом слове. Единица-слово фиксирована, а единица-запись гибкая.

Эффективность обработки фиксированной ширины в сочетании с выразительностью переменной длины. 16-битное слово достигает обоих одновременно.


Путь, доказанный Unicode

Unicode — самый успешный стандарт кодирования, созданный человечеством.

Базовая единица UTF-16 — 16 бит (2 байта). Символы базовой многоязычной плоскости (BMP) представляются одним словом, а остальные расширяются суррогатными парами (2 слова = 4 байта).

GEUL следует той же структуре. Частые форматы передаются прямым кодом внутри одного TAG WORD, а редкие расширяются дополнительными TAG.

Как Unicode выражает все символы мира на базовой единице «один символ = 2 байта», так GEUL выражает утверждения, их источники и основания на базовой единице «одно слово = 2 байта».


Обратная совместимость и расширение вверх

Ещё одна сильная сторона 16 бит – выравнивание.

16 – кратное 8, делитель 32, делитель 64 и делитель 128.

Это означает, что выравнивание никогда не нарушается, в каком бы направлении вы ни расширялись.

Что, если архитектура трансформера изменится в будущем и токены станут 32-битными? Два 16-битных слова составляют один токен. Никаких проблем с выравниванием.

А если 64 бита? Четыре 16-битных слова составляют один токен. По-прежнему никаких проблем с выравниванием.

И наоборот, что если 8-битная встраиваемая система обрабатывает этот формат? Просто читайте каждое 16-битное слово как старший байт и младший байт.

Обратная совместимость должна поддерживаться абсолютно. 16-битное слово гарантирует это на физическом уровне.

Мы не можем предсказать размер слова будущих интеллектов, но кратное выравнивание 16 бит гарантирует совместимость с любым размером.


Тройная структура

Подведём итог.

Одно 16-битное слово спроектировано как единица трёх миров.

МирРоль одного слова
СетьЕдиница потока байтов
ХранениеЕдиница формата файла
ИИЕдиница словаря LLM (цель)

Одна единица пронизывает все три мира.

Сохраните поток как есть — это файл. Отправьте файл как есть — это поток. Сцепить его с LLM пословно — следующий шаг.

Меньше конвертации. Меньше перевода. Меньше потерь.

Вот почему 16 бит. Не 8, не 32, не переменная длина. Число, стоящее точно на пересечении трёх миров.