一个字贯穿三个世界
三个世界
计算机科学中存在三个世界。
网络的世界。 数据以字节流的形式流动。 字节从TCP套接字中进入,字节从中流出。 网络工程师的词汇是数据包、头部和载荷。
存储的世界。 数据以文件格式持久化。 写入磁盘,从磁盘读取。 存储工程师的词汇是块、偏移量和对齐。
AI的世界。 数据以token序列的形式处理。 LLM接收token并产出token。 AI工程师的词汇是嵌入、注意力和上下文。
这三个世界说着不同的语言。 它们之间始终需要翻译。
翻译的代价
让我们追溯数据在现代AI系统中经过的路径。
知识存储在文件中。以JSON或纯文本的形式。
要将其传递给AI:
- 打开文件并读取文本。
- 解析文本。如果是JSON,解释结构并提取字段。
- 将提取的文本输入分词器。
- 分词器将文本转换为token ID序列。
- token序列被送入LLM。
当AI生成回复时:
- LLM输出token序列。
- 将token解码回文本。
- 将文本序列化为结构化格式。
- 将序列化数据写入文件。
一个简单的"读写"操作需要九个步骤。
每个步骤消耗时间。 每个步骤消耗内存。 每个步骤都有信息丢失的风险。
步骤3和4——分词过程——尤为棘手。 由于自然语言的词边界与分词器的token边界不对齐, 像"李舜臣"这样的专有名词可能被拆分成任意片段, 或者单个语义单元被分散到多个token中。
这就是三个世界说不同语言所付出的代价。
如果一个单位能贯穿所有三个世界呢?
在这种语言中,1个字是16位(2字节)。
这一个16位字被设计为同时承担三种角色。
字节流的单位。 16位字在网络上连续流入。 Big Endian。按2字节对齐。 按到达的顺序读取即可。
文件格式的单位。 把从网络流入的流原样写入磁盘,那就是文件。 把从磁盘读出的字节原样发送到网络,那就是流。 无需序列化,也无需反序列化。
LLM词表的单位。 16位 = 65,536种。 现代LLM的词表大小(vocabulary size)在数万到数十万之间。 GPT-2约为5万,近来的模型在10万到20万左右。 65,536落在这个范围之内。 16位字是LLM能够作为词表学习的大小的单位。
三个世界使用同一个单位。 翻译随之减少。
流就是文件
具体来看这意味着什么。
传统方式:9个步骤
[文件] → 读取 → 解析 → 提取文本 → 分词 → [LLM]
[LLM] → 解码 → 序列化 → 写入 → [文件]
GEUL方式
[流] = [文件] 同样的字节
[文件] → 按记录跳读 无需码本
把流原样写下就是文件,把文件原样发送就是流。 没有序列化,也没有反序列化。 每条记录的第一个字(TAG WORD)给出它的种类和长度, 所以不需要的记录可以不解释、直接跳过。
LLM这一侧仍是目标。 1个字并不等于1个token。 一条记录由多个字组成,文本以字节串的形式存放。 即便如此,只要单位固定为16位, 分词器就不必猜测边界,只需沿着既定的边界走。 “李舜臣"不会在莫名其妙的地方被切开,因为它是指向维基数据Q50184的一条Reference记录。
为什么不是8位?
8位给你256个不同符号。
256个符号远不足以表示世界。 分配完字母表、数字和基本标点符号后,一半空间已经用完。
如果用8位作为基本单位, 大多数有意义的token最终需要2个或更多字节。 这迫使使用变长编码, 而变长使解析变得复杂。
作为字节流单位足够, 但作为token单位不够。
为什么不是32位?
32位约有43亿种。
表达能力绰绰有余。 但问题在于效率。
这种语言中最小的记录是1个字:像BODY、END这样只由一个TAG WORD构成的标记。 指向维基数据Q42的Reference是2个字, “Q42是人"这样一个TRIPLE是10个字。 按16位计算,这个TRIPLE是20字节。若是32位字,就是40字节。 同一条记录会变大一倍。
从LLM的角度看也有问题。 32位词表的43亿种,比任何LLM的词表都大数万倍。 既没有能学习这么大词表的数据,也没有这样的模型。
对这种语言的单位来说,32位字过大了。
为什么不用变长?
UTF-8是变长编码。 字符长度根据字符不同从1字节到4字节不等。
这在存储效率上有优势, 但在处理效率上引入了致命弱点。
要找到第n个字符,必须从头开始计数。 随机访问不可能。 SIMD并行处理变得困难。
这种语言使用固定宽度的16位字作为基本单位。 第n个字的位置始终是 n * 2 字节。 随机访问是O(1)。 SIMD可以在单条指令中比较多个字。 GPU可以并行扫描数十亿个字。
不过,在记录层面仍然允许变长。 记录长度从1个字到2³²−1个字不等,长度写在第一个字里。 字的单位是固定的,记录的单位是灵活的。
固定宽度的处理效率与变长的表达能力兼而有之。 16位字同时实现了两者。
Unicode证明的道路
Unicode是人类创造的最成功的编码标准。
UTF-16的基本单位是16位(2字节)。 基本多文种平面(BMP)的字符用1个字表示, 其余字符用代理对(2个字 = 4字节)扩展。
GEUL也遵循同样的结构。 常用的形式以直接码放进一个TAG WORD之内, 少用的形式用扩展TAG延伸。
正如Unicode在"一个字符 = 2字节"这一基本单位之上 表示了世界上所有的文字, GEUL在"一个字 = 2字节"这一基本单位之上 表示陈述、出处与依据。
向后兼容与向上扩展
16位的另一个优势是对齐。
16是8的倍数,是32的约数,是64的约数,是128的约数。
这意味着无论向哪个方向扩展,对齐永远不会被打破。
如果未来transformer架构改变, token变成32位呢? 两个16位字组成一个token。没有对齐问题。
64位呢? 四个16位字组成一个token。仍然没有对齐问题。
反过来,如果8位嵌入式系统处理这种格式呢? 只需将每个16位字读为高字节和低字节即可。
必须绝对维持向后兼容性。 16位字在物理层面保证了这一点。
我们无法预测未来智能体的字大小, 但16位的倍数对齐保证了与任何大小的兼容性。
三重结构
总结一下。
一个16位字被设计为三个世界的单位。
| 世界 | 1个字的角色 |
|---|---|
| 网络 | 字节流的单位 |
| 存储 | 文件格式的单位 |
| AI | LLM词表的单位(目标) |
一个单位贯穿这三个世界。
把流原样存储,就是文件。 把文件原样发送,就是流。 让它与LLM也以字为单位咬合,是下一步。
转换减少。 翻译减少。 损失减少。
这就是选择16位的原因。 不是8位,不是32位,也不是变长。 恰好位于三个世界交汇点上的数字。
16。