一つのワードが三つの世界を貫く
三つの世界
コンピュータサイエンスには三つの世界がある。
ネットワークの世界。 データはバイトストリームとして流れる。 TCPソケットからバイトが入り、バイトが出ていく。 ネットワークエンジニアの語彙は、パケット、ヘッダ、ペイロード。
ストレージの世界。 データはファイルフォーマットとして永続化される。 ディスクに書き込み、ディスクから読み出す。 ストレージエンジニアの語彙は、ブロック、オフセット、アライメント。
AIの世界。 データはトークン列として処理される。 LLMはトークンを受け取り、トークンを出力する。 AIエンジニアの語彙は、エンベディング、アテンション、コンテキスト。
この三つの世界は異なる言語を話している。 そしてその間には、常に翻訳が必要とされる。
翻訳のコスト
現代のAIシステムをデータが通過する経路を追ってみよう。
知識はファイルに格納されている。JSONやプレーンテキストとして。
これをAIに届けるには:
- ファイルを開いてテキストを読む。
- テキストをパースする。JSONであれば構造を解釈しフィールドを抽出する。
- 抽出したテキストをトークナイザに入力する。
- トークナイザがテキストをトークンIDの列に変換する。
- トークン列がLLMに入力される。
AIが応答を生成するとき:
- LLMがトークン列を出力する。
- トークンをテキストにデコードする。
- テキストを構造化フォーマットにシリアライズする。
- シリアライズされたデータをファイルに書き込む。
単純な「読み書き」操作に9つのステップが必要。
各ステップが時間を消費する。 各ステップがメモリを消費する。 各ステップが情報損失のリスクを伴う。
ステップ3と4——トークナイゼーション過程——は特に厄介だ。 自然言語の語境界がトークナイザのトークン境界と一致しないため、 「李舜臣」のような固有名詞が任意の断片に分割されたり、 一つの意味単位が複数のトークンに散らばったりする。
これが、三つの世界が異なる言語を話すことの代償である。
もし一つの単位が三つの世界すべてを貫いたら?
この言語の1ワードは16ビット(2バイト)だ。
この16ビットのワード一つが、同時に三つの役割を担うよう設計した。
バイトストリームの単位。 ネットワークから16ビットのワードが連続して流れてくる。 Big Endian。2バイトずつ整列。 到着した順に読めばよい。
ファイルフォーマットの単位。 ネットワークから流れてきたストリームをそのままディスクに書けば、それがファイルだ。 ディスクから読んだバイトをそのままネットワークに送れば、それがストリームだ。 シリアライズもデシリアライズも要らない。
LLM語彙の単位。 16ビット = 65,536種。 現代のLLMの語彙サイズ(vocabulary size)は数万から数十万だ。 GPT-2は約5万、最近のモデルは10万〜20万前後。 65,536はこの範囲に収まる。 16ビットのワードは、LLMが語彙として学習できる大きさの単位だ。
三つの世界が同じ単位を使う。 翻訳が減る。
ストリームがそのままファイルだ
これが具体的に何を意味するか見てみよう。
従来の方式:9段階
[ファイル] → 読み込み → パース → テキスト抽出 → トークン化 → [LLM]
[LLM] → デコード → シリアライズ → 書き込み → [ファイル]
GEULの方式
[ストリーム] = [ファイル] 同じバイト
[ファイル] → レコード単位で読み飛ばす コードブック不要
ストリームをそのまま書けばファイル、ファイルをそのまま送ればストリームだ。 シリアライズもデシリアライズもない。 各レコードの最初のワード(TAG WORD)が種類と長さを教えるので、 不要なレコードは解釈せずに読み飛ばせる。
LLMの側はまだ目標だ。 1ワードがそのまま1トークンになるわけではない。 レコードは複数のワードからなり、テキストはバイト列として入っている。 それでも単位が16ビットに固定されていれば、 トークナイザは境界を推測せず、決まった境界に従えばよい。 「李舜臣」が妙なところで切れることはない。ウィキデータQ50184を指すReferenceレコード一つだからだ。
なぜ8ビットではないのか?
8ビットで256種の異なるシンボルが得られる。
256シンボルでは世界を表すには少なすぎる。 アルファベット、数字、基本句読点を割り当てれば、半分のスペースは使い切ってしまう。
8ビットを基本単位にすると、 ほとんどの意味あるトークンは2バイト以上を必要とする。 これは可変長エンコーディングを強制し、 可変長はパースを複雑にする。
バイトストリームの単位としては適切だが、 トークンの単位としては不十分である。
なぜ32ビットではないのか?
32ビットは約43億種だ。
表現力は十分すぎるほどある。 しかし問題は効率だ。
この言語で最も小さいレコードは1ワードだ。TAG WORD一つで終わるBODYやENDのような標識である。 ウィキデータQ42を指すReferenceは2ワード、 「Q42は人間だ」というTRIPLE一つは10ワードだ。 16ビット基準ならこのTRIPLEは20バイト。32ビットワードなら40バイト。 同じレコードが2倍に膨らむ。
LLMの観点からも問題がある。 32ビットの語彙43億種は、どのLLMの語彙よりも数万倍大きい。 それほどの語彙を学習させるデータもモデルもない。
32ビットのワードは、この言語の単位としては過剰だ。
なぜ可変長ではないのか?
UTF-8は可変長エンコーディングである。 文字によって1バイトから4バイトまで変わる。
これは記憶効率に利点があるが、 処理効率に致命的な弱点をもたらす。
n番目の文字を見つけるには、先頭から数えなければならない。 ランダムアクセスは不可能。 SIMD並列処理が困難になる。
この言語は固定幅16ビットワードを基本単位とする。 n番目のワードの位置は常に n * 2 バイト。 ランダムアクセスはO(1)。 SIMDは一命令で複数のワードを比較できる。 GPUは数十億のワードを並列スキャンできる。
それでも、レコードの水準では可変長を許す。 レコードの長さは1ワードから2³²−1ワードまでさまざまで、その長さは最初のワードに書かれている。 ワード単位は固定だが、レコード単位は柔軟だ。
固定幅の処理効率と可変長の表現力を兼ね備える。 16ビットワードは両方を同時に実現する。
Unicodeが証明した道
Unicodeは人類が作った最も成功したエンコーディング標準だ。
UTF-16の基本単位は16ビット(2バイト)だ。 基本多言語面(BMP)の文字を1ワードで表し、 それ以外の文字はサロゲートペア(2ワード = 4バイト)で拡張する。
GEULも同じ構造に従う。 よく使う形式はTAG WORD一つの中の直接コードに収め、 まれな形式は拡張TAGで延ばす。
Unicodeが「1文字 = 2バイト」という基本単位の上で 世界のすべての文字を表すように、 GEULは「1ワード = 2バイト」という基本単位の上で 記述とその出典と根拠を表す。
後方互換性と上方拡張
16ビットのもう一つの強みはアライメントである。
16は8の倍数であり、32の約数であり、64の約数であり、128の約数である。
これは、どの方向に拡張してもアライメントが崩れないことを意味する。
将来トランスフォーマーアーキテクチャが変わり、 トークンが32ビットになったら? 二つの16ビットワードが一つのトークンになる。アライメントの問題はない。
64ビットなら? 四つの16ビットワードが一つのトークンになる。やはりアライメントの問題はない。
逆に、8ビットの組み込みシステムがこのフォーマットを処理する場合は? 各16ビットワードを上位バイトと下位バイトに分けて読むだけでよい。
後方互換性は絶対に維持されなければならない。 16ビットワードはこれを物理レベルで保証する。
将来の知性体のワードサイズを予測することはできないが、 16ビットの倍数アライメントがあらゆるサイズとの互換性を保証する。
三重構造
まとめよう。
16ビットの1ワードは、三つの世界の単位になるよう設計された。
| 世界 | 1ワードの役割 |
|---|---|
| ネットワーク | バイトストリームの単位 |
| ストレージ | ファイルフォーマットの単位 |
| AI | LLM語彙の単位(目標) |
この三つの世界を一つの単位が貫く。
ストリームをそのまま保存すればファイルだ。 ファイルをそのまま送ればストリームだ。 LLMともワード単位で噛み合わせることが次の一歩だ。
変換が減る。 翻訳が減る。 損失が減る。
これが16ビットである理由だ。 8ビットでも、32ビットでも、可変長でもない。 三つの世界の交差点に正確に位置する数字。
16。