なぜプロンプトエンジニアリングの時代は終わったのか
モデルが賢くなるほど、「どう言うか」より「何を見せるか」が結果を左右する。プロンプトからコンテキストへの転換と、コンテキストエンジニアリングに必要な七つのインフラを扱う。
GEUL — 人間とAIの間の曖昧さのないコミュニケーションのための人工言語
モデルが賢くなるほど、「どう言うか」より「何を見せるか」が結果を左右する。プロンプトからコンテキストへの転換と、コンテキストエンジニアリングに必要な七つのインフラを扱う。
自然言語は曖昧さを解くために長くならざるをえない。識別子と定型化された場所を持つ構造では、明瞭さと簡潔さのトレードオフが崩れ、明瞭さが索引・検証・整合性検査の前提になる。
自然言語には「無効な文」という概念がないため、情報が検査なしにコンテキストへ入る。規格で形式をふるい分ける機械的検証が、なぜパイプラインの最初に来るべきなのかを扱う。
有効な情報がすべて必要な情報とは限らない。関連性・信頼性・新しさで今必要なものだけを選ぶフィルタと、構造化された表現ではその基準がフィールド演算になる理由を扱う。
個別には正しい情報も、集まると互いに矛盾しうる。三つの矛盾の型(時間的、出典間、推論的)と、構造化された表現では矛盾の検出がフィールドの比較と算術に変わる理由を扱う。
自然言語は人間同士のコミュニケーションのために進化した。曖昧さ、冗長性、暗示は人間にとっては長所だが、AIにとっては幻覚の原因である。プログラミング言語も既存の意味表現体系も答えではない。六つの条件を同時に満たす新しい人工言語が必要だ。
知識が大きくなり、索引さえコンテキストウィンドウを超えると、一度で探す検索は限界にぶつかる。階層的な地図をたどって方向を選びながら入っていく探索が、なぜ必要なのかを扱う。
Markdown、JSON、XMLはそれぞれ異なる時代と目的のために作られた。構造はあっても統一された意味がなく、出典を記す場所もない。AIの推論を記録し蓄積する形式がなぜ別に必要なのかを指摘する。
埋め込みベクトルを並べ替えるとモデルが壊れる。壊さずに並べ替えるにはモデルを作り直すしかない。ブラックボックスの内部を透明にするのではなく、外部に透明な層が必要だ。
エスペラントは、学ぶ必要があり、既存の言語を置き換えようとし、意思疎通を目的としたために失敗した。AIのための人工言語は別の道を行く。人が学ぶ必要がなく、自然言語を置き換えず、記録と検証を目的とする。
GEULはウィキデータを否定しない。ダンプを無損失でロードし、約1.2億のエンティティをそれぞれ、すべての言語を収めたGEUL文書一つに移す。分類体系と頻度統計から意味整列識別子(SIDX)を設計することは研究中だ。
動詞体系を自作すると、抜けがあり、恣意的で、根拠がない。GEULは40年かけて蓄積されたWordNetの13,767個の動詞で暫定のコードブックを作り、構造を学んだ。WordNetはCC0ではなく英語に縛られているため、この暫定版はWordNetを使わない動詞コードブックに置き換える。
IDが住所ではなく知識なら、JOINなしにビット演算一回で候補を絞り込める。GEULが研究中の意味整列識別子SIDXの構想と、その幅を使用統計で決めようとする理由を扱う。
16ビットのワード一つを、ネットワークのストリーム、ファイルフォーマット、LLMの語彙という三つの世界の単位になるよう設計した。なぜ8ビットでも32ビットでも可変長でもなく16ビットなのかを説明する。
AIはファイルを書くのは得意だが、自分が書いたファイルを見つけられない。問題は保存ではなく取り出しだ。目次や索引のように「どこに何があるか」を記した一枚の地図から、構造化された記憶までの道を扱う。
LLMに毎回ゼロから推論させる代わりに、一度行った推論をコードに固めてキャッシュする。キャッシュミスのときだけLLMを呼ぶJITコンパイラのような構造と、その効果を扱う。
注釈は人間のために書く。しかし関数が10,000個あるとき、機械も読まなければならない。注釈を叙述からインデックスに変えれば、フルスキャンが即座に検索になる。
GEULは、すべてのレコードの先頭にある16ビットTAG WORDの空間の75%を空けておく。IPv4、Unicode、ASCIIの教訓——埋めるコストは取り返しがつかないが、空けておくコストはレコードあたり3ビットだ。