一个字贯穿三个世界


三个世界

计算机科学中存在三个世界。

网络的世界。 数据以字节流的形式流动。 字节从TCP套接字中进入,字节从中流出。 网络工程师的词汇是数据包、头部和载荷。

存储的世界。 数据以文件格式持久化。 写入磁盘,从磁盘读取。 存储工程师的词汇是块、偏移量和对齐。

AI的世界。 数据以token序列的形式处理。 LLM接收token并产出token。 AI工程师的词汇是嵌入、注意力和上下文。

这三个世界说着不同的语言。 它们之间始终需要翻译。


翻译的代价

让我们追溯数据在现代AI系统中经过的路径。

知识存储在文件中。以JSON或纯文本的形式。

要将其传递给AI:

  1. 打开文件并读取文本。
  2. 解析文本。如果是JSON,解释结构并提取字段。
  3. 将提取的文本输入分词器。
  4. 分词器将文本转换为token ID序列。
  5. token序列被送入LLM。

当AI生成回复时:

  1. LLM输出token序列。
  2. 将token解码回文本。
  3. 将文本序列化为结构化格式。
  4. 将序列化数据写入文件。

一个简单的"读写"操作需要九个步骤。

每个步骤消耗时间。 每个步骤消耗内存。 每个步骤都有信息丢失的风险。

步骤3和4——分词过程——尤为棘手。 由于自然语言的词边界与分词器的token边界不对齐, 像"李舜臣"这样的专有名词可能被拆分成任意片段, 或者单个语义单元被分散到多个token中。

这就是三个世界说不同语言所付出的代价。


如果一个单位能贯穿所有三个世界呢?

在这种语言中,1个字是16位(2字节)。

这一个16位字被设计为同时承担三种角色。

字节流的单位。 16位字在网络上连续流入。 Big Endian。按2字节对齐。 按到达的顺序读取即可。

文件格式的单位。 把从网络流入的流原样写入磁盘,那就是文件。 把从磁盘读出的字节原样发送到网络,那就是流。 无需序列化,也无需反序列化。

LLM词表的单位。 16位 = 65,536种。 现代LLM的词表大小(vocabulary size)在数万到数十万之间。 GPT-2约为5万,近来的模型在10万到20万左右。 65,536落在这个范围之内。 16位字是LLM能够作为词表学习的大小的单位。

三个世界使用同一个单位。 翻译随之减少。


流就是文件

具体来看这意味着什么。

传统方式:9个步骤

[文件] → 读取 → 解析 → 提取文本 → 分词 → [LLM]
[LLM] → 解码 → 序列化 → 写入 → [文件]

GEUL方式

[流] = [文件]                     同样的字节
[文件] → 按记录跳读              无需码本

把流原样写下就是文件,把文件原样发送就是流。 没有序列化,也没有反序列化。 每条记录的第一个字(TAG WORD)给出它的种类和长度, 所以不需要的记录可以不解释、直接跳过。

LLM这一侧仍是目标。 1个字并不等于1个token。 一条记录由多个字组成,文本以字节串的形式存放。 即便如此,只要单位固定为16位, 分词器就不必猜测边界,只需沿着既定的边界走。 “李舜臣"不会在莫名其妙的地方被切开,因为它是指向维基数据Q50184的一条Reference记录。


为什么不是8位?

8位给你256个不同符号。

256个符号远不足以表示世界。 分配完字母表、数字和基本标点符号后,一半空间已经用完。

如果用8位作为基本单位, 大多数有意义的token最终需要2个或更多字节。 这迫使使用变长编码, 而变长使解析变得复杂。

作为字节流单位足够, 但作为token单位不够。


为什么不是32位?

32位约有43亿种。

表达能力绰绰有余。 但问题在于效率。

这种语言中最小的记录是1个字:像BODY、END这样只由一个TAG WORD构成的标记。 指向维基数据Q42的Reference是2个字, “Q42是人"这样一个TRIPLE是10个字。 按16位计算,这个TRIPLE是20字节。若是32位字,就是40字节。 同一条记录会变大一倍。

从LLM的角度看也有问题。 32位词表的43亿种,比任何LLM的词表都大数万倍。 既没有能学习这么大词表的数据,也没有这样的模型。

对这种语言的单位来说,32位字过大了。


为什么不用变长?

UTF-8是变长编码。 字符长度根据字符不同从1字节到4字节不等。

这在存储效率上有优势, 但在处理效率上引入了致命弱点。

要找到第n个字符,必须从头开始计数。 随机访问不可能。 SIMD并行处理变得困难。

这种语言使用固定宽度的16位字作为基本单位。 第n个字的位置始终是 n * 2 字节。 随机访问是O(1)。 SIMD可以在单条指令中比较多个字。 GPU可以并行扫描数十亿个字。

不过,在记录层面仍然允许变长。 记录长度从1个字到2³²−1个字不等,长度写在第一个字里。 字的单位是固定的,记录的单位是灵活的。

固定宽度的处理效率与变长的表达能力兼而有之。 16位字同时实现了两者。


Unicode证明的道路

Unicode是人类创造的最成功的编码标准。

UTF-16的基本单位是16位(2字节)。 基本多文种平面(BMP)的字符用1个字表示, 其余字符用代理对(2个字 = 4字节)扩展。

GEUL也遵循同样的结构。 常用的形式以直接码放进一个TAG WORD之内, 少用的形式用扩展TAG延伸。

正如Unicode在"一个字符 = 2字节"这一基本单位之上 表示了世界上所有的文字, GEUL在"一个字 = 2字节"这一基本单位之上 表示陈述、出处与依据。


向后兼容与向上扩展

16位的另一个优势是对齐。

16是8的倍数,是32的约数,是64的约数,是128的约数。

这意味着无论向哪个方向扩展,对齐永远不会被打破。

如果未来transformer架构改变, token变成32位呢? 两个16位字组成一个token。没有对齐问题。

64位呢? 四个16位字组成一个token。仍然没有对齐问题。

反过来,如果8位嵌入式系统处理这种格式呢? 只需将每个16位字读为高字节和低字节即可。

必须绝对维持向后兼容性。 16位字在物理层面保证了这一点。

我们无法预测未来智能体的字大小, 但16位的倍数对齐保证了与任何大小的兼容性。


三重结构

总结一下。

一个16位字被设计为三个世界的单位。

世界1个字的角色
网络字节流的单位
存储文件格式的单位
AILLM词表的单位(目标)

一个单位贯穿这三个世界。

把流原样存储,就是文件。 把文件原样发送,就是流。 让它与LLM也以字为单位咬合,是下一步。

转换减少。 翻译减少。 损失减少。

这就是选择16位的原因。 不是8位,不是32位,也不是变长。 恰好位于三个世界交汇点上的数字。

16。