AIには新しい言語が必要だ

GEUL — 人間とAIの間の曖昧さのないコミュニケーションのための人工言語

なぜ明確化が必要なのか

自然言語は曖昧さを解くために長くならざるをえない。識別子と定型化された場所を持つ構造では、明瞭さと簡潔さのトレードオフが崩れ、明瞭さが索引・検証・整合性検査の前提になる。

なぜ機械的検証が必要なのか

自然言語には「無効な文」という概念がないため、情報が検査なしにコンテキストへ入る。規格で形式をふるい分ける機械的検証が、なぜパイプラインの最初に来るべきなのかを扱う。

なぜフィルタリングが必要なのか

有効な情報がすべて必要な情報とは限らない。関連性・信頼性・新しさで今必要なものだけを選ぶフィルタと、構造化された表現ではその基準がフィールド演算になる理由を扱う。

なぜ整合性チェックが必要なのか

個別には正しい情報も、集まると互いに矛盾しうる。三つの矛盾の型(時間的、出典間、推論的)と、構造化された表現では矛盾の検出がフィールドの比較と算術に変わる理由を扱う。

なぜ人工言語が必要なのか

自然言語は人間同士のコミュニケーションのために進化した。曖昧さ、冗長性、暗示は人間にとっては長所だが、AIにとっては幻覚の原因である。プログラミング言語も既存の意味表現体系も答えではない。六つの条件を同時に満たす新しい人工言語が必要だ。

なぜ探索が必要なのか

知識が大きくなり、索引さえコンテキストウィンドウを超えると、一度で探す検索は限界にぶつかる。階層的な地図をたどって方向を選びながら入っていく探索が、なぜ必要なのかを扱う。

なぜ自然言語は幻覚を生むのか?

幻覚はLLMのバグではない——自然言語の4つの構造的欠陥(曖昧性・出所不在・確信度不在・時点不在)から生じる必然だ。モデルを大きくしても解消できない。

なぜMD/JSON/XMLではだめなのか

Markdown、JSON、XMLはそれぞれ異なる時代と目的のために作られた。構造はあっても統一された意味がなく、出典を記す場所もない。AIの推論を記録し蓄積する形式がなぜ別に必要なのかを指摘する。

なぜ埋め込みベクトルでは駄目なのか

埋め込みベクトルを並べ替えるとモデルが壊れる。壊さずに並べ替えるにはモデルを作り直すしかない。ブラックボックスの内部を透明にするのではなく、外部に透明な層が必要だ。

なぜエスペラントは失敗したのか

エスペラントは、学ぶ必要があり、既存の言語を置き換えようとし、意思疎通を目的としたために失敗した。AIのための人工言語は別の道を行く。人が学ぶ必要がなく、自然言語を置き換えず、記録と検証を目的とする。

なぜウィキデータなのか

GEULはウィキデータを否定しない。ダンプを無損失でロードし、約1.2億のエンティティをそれぞれ、すべての言語を収めたGEUL文書一つに移す。分類体系と頻度統計から意味整列識別子(SIDX)を設計することは研究中だ。

なぜWordNetなのか

動詞体系を自作すると、抜けがあり、恣意的で、根拠がない。GEULは40年かけて蓄積されたWordNetの13,767個の動詞で暫定のコードブックを作り、構造を学んだ。WordNetはCC0ではなく英語に縛られているため、この暫定版はWordNetを使わない動詞コードブックに置き換える。

なぜ事実ではなく主張なのか?

真実には到達できず、私たちに残るのは誰かの主張だけだ。知識システムが事実ではなく主張を一次データとし、出典・時点・確信度を記す場所を持つべき理由を扱う。

なぜ意味整列インデックスなのか?

IDが住所ではなく知識なら、JOINなしにビット演算一回で候補を絞り込める。GEULが研究中の意味整列識別子SIDXの構想と、その幅を使用統計で決めようとする理由を扱う。

なぜ16ビットなのか?

16ビットのワード一つを、ネットワークのストリーム、ファイルフォーマット、LLMの語彙という三つの世界の単位になるよう設計した。なぜ8ビットでも32ビットでも可変長でもなく16ビットなのかを説明する。

なぜ構造化された記憶が必要なのか?

AIはファイルを書くのは得意だが、自分が書いたファイルを見つけられない。問題は保存ではなく取り出しだ。目次や索引のように「どこに何があるか」を記した一枚の地図から、構造化された記憶までの道を扱う。

なぜ推論をコードとしてキャッシュするのか?

LLMに毎回ゼロから推論させる代わりに、一度行った推論をコードに固めてキャッシュする。キャッシュミスのときだけLLMを呼ぶJITコンパイラのような構造と、その効果を扱う。

なぜ注釈はインデックスであるべきなのか

注釈は人間のために書く。しかし関数が10,000個あるとき、機械も読まなければならない。注釈を叙述からインデックスに変えれば、フルスキャンが即座に検索になる。

なぜ空けておかなければならないのか

GEULは、すべてのレコードの先頭にある16ビットTAG WORDの空間の75%を空けておく。IPv4、Unicode、ASCIIの教訓——埋めるコストは取り返しがつかないが、空けておくコストはレコードあたり3ビットだ。