自然言語は曖昧性を解消するために必然的に長くなる。明確な構造では、そのコストが消える。


曖昧性のコスト

“He went to the bank.”

7トークン。短い。効率的に見える。

しかしこの文は使い物にならない。 AIの推論コンテキストに入れられない。 曖昧だからだ。

“he"は誰か? “bank"は金融機関か河岸か? いつ行ったのか? なぜ行ったのか?

この文から推論すると4つの不確実性の分岐が生まれる。 不確実性は推論の後続ステップすべてに伝播する。 伝播した不確実性が確実性として出力されたとき、それが幻覚だ。

そこで自然言語は曖昧性を解消しようとする。 解消する唯一の方法は、より多くの言葉を使うことだ。


解消のコスト

この文の曖昧性のないバージョンを見てみよう。

「サムスン電子財務チームの金哲洙課長は、 2024年1月15日月曜日に、 新韓銀行江南支店を訪問し、 法人口座を開設した。」

今や曖昧性はない。 主語が特定された。場所が特定された。 タイムスタンプが明記された。目的が明記された。

しかし7トークンが40になった。

追加の33トークンはすべて曖昧性解消のコストだ。 新しい情報ではない。 “he"を「サムスン電子財務チームの金哲洙課長」と特定したことは 意味を追加したのではなく——曖昧性を除去したのだ。

自然言語では、明確さは無料ではない。 明確になるには、長くならなければならない。 これは自然言語の構造的性質だ。


なぜ自然言語は必然的に長くなるのか

自然言語は人間同士のコミュニケーションのために進化した。 人間のコミュニケーションでは、曖昧性は特徴だ。

「彼、銀行に行ったらしいよ。」

話者と聞き手が同じコンテキストを共有していれば、 「彼」が誰で「銀行」がどこかすでに知っている。 7トークンで十分。 曖昧性は圧縮メカニズムだ。共有コンテキストに頼って省略する。

問題は解凍側で起こる。

コンテキストを共有していない相手にメッセージを伝えるには、 省略されたすべてを復元しなければならない。 復元は長くする。

自然言語では、明確さと簡潔さはトレードオフだ。 明確は長い。短いは曖昧。 両方を同時には手に入れられない。

これが自然言語の根本的制約だ。


AIには共有コンテキストがない

人間同士の会話では、曖昧性は効率的だ。 数十年の共有経験、文化的背景、会話の流れが 自動的に曖昧性を解消する。

AIにはこれがない。

AIのコンテキストウィンドウ内のテキストがすべてだ。 テキストの外のコンテキストは存在しない。

“He went to the bank"をコンテキストに入れると、 AIは4つの不確実性の分岐を持って推論を始める。 「最も妥当な」解釈を選び、 間違いのリスクを受け入れる。

だから自然言語はAIコンテキストにとって不利なのだ。

明確に書けばトークン数が膨らみ、ウィンドウスペースを浪費する。 短く書けば曖昧性が幻覚の原材料になる。

自然言語を使う限り、このジレンマから逃れられない。


構造的明確さという解決策

このジレンマを解くには、 明確さと簡潔さのトレードオフを打破しなければならない。

自然言語では不可能だ。 曖昧性の解消には言葉の追加が必要だ。

しかし構造的に明確な表現では、可能だ。

自然言語では「金哲洙」を特定するのに「サムスン電子財務チームの金哲洙課長」と書く必要がある。 構造化表現では、一つのユニーク識別子で済む。 識別子は本質的にユニークだ。 修飾語「サムスン電子財務チーム」は不要だ。 修飾語は人間のための曖昧性解消手段であって—— 機械には不要だ。

自然言語では"bank"が金融機関か河岸かを解消するのに 「新韓銀行江南支店」と書く必要がある。 構造化表現では、エンティティの識別子が金融機関を指す。 曖昧性は構造の源で遮断される。

時点を明示するには、自然言語では「2024年1月15日月曜日」と書く。 構造化された表現では、時点を書く場所に値が入る。 場所があるので、省略すれば省略したことが表に出る。 値が定型化されているので、解釈の曖昧さがない。

構造的な明瞭さでは、 曖昧さ解消のコストがゼロに収束する。 識別子が曖昧でないので、修飾語が要らない。 場所があるので、省略が表に出る。 定型化されているので、解釈が確定的だ。


圧縮は明確化の副産物

ここで興味深いことが起こる。

明確にすると短くなる。

自然言語では、明確にすると長くなる。 構造化表現では、明確にすると短くなる。

なぜか?

自然言語の文を長くしているもののほとんどが 曖昧性解消のコストだからだ。

「サムスン電子財務チームの金哲洙課長」で、 「サムスン電子財務チーム」と「課長」は情報ではない——識別手段だ。 「彼」が誰かを絞り込む修飾語だ。 ユニーク識別子があれば、これらの修飾語はすべて消える。

「2024年1月15日月曜日」で「月曜日」は冗余だ。 1月15日で曜日は決まる。 しかし自然言語では、こうした冗長性が慣習的に明確さのために追加される。 型付き時間フィールドでは、このような冗長性は構造的に不可能だ。

構造的明確化の結果として、 表現は自然言語より短くなる。

これは意図的な圧縮ではない。 曖昧性解消コストが消えた結果だ。


一文のパラドックス

ここで正直に述べるべきことがある。

一つの文に対しては、構造化表現は自然言語より長くなりうる。

「李舜臣は偉大だった。」

この文は自然言語なら7トークンで済む。 構造化された表現に移すと、 対象を指すReference、記述を束ねるEdge、出典と時点を付けるレコード—— 構造的なオーバーヘッドが文そのものより大きくなりうる。

これは事実だ。 明確さを構造に埋め込むには固定コストがある。

しかしステートメント数が増えるにつれ、逆転が起こる。

李舜臣についてのステートメントが100あるとして、 自然言語は「李舜臣」を100回書く。 構造化表現では李舜臣ノードを一度定義し、 100のエッジがそれを参照する。

50のステートメントが同じ出所からだとして、 自然言語は毎回出所を引用するか、省略して曖昧になるかだ。 構造化表現ではメタデータが一度バインドされる。

ステートメントが蓄積するにつれ、ノード共有率が上昇する。 ノード共有率が上昇するにつれ、構造的明確さの利得が増大する。

いくつの記述から逆転するかは、記述の形によって異なる。 しかしコンテキストエンジニアリングでウィンドウに入れる情報は、 たいてい一つ二つの文ではなく、同じ対象と同じ出典を共有する記述の束だ。

そして長さより大切なことがある。 構造化された表現の価値は、短いことよりも、見つけられることにある。


明確さが生む連鎖反応

明確化は圧縮だけを生むのではない。

索引が可能になる。 曖昧でない識別子があれば、正確な検索が可能になる。 「アップルの売上」を探すとき、「りんごの栄養成分」がついてこない。 識別子は整数なので、文字列比較なしに整数比較と範囲探索で見つかる。

バリデーションが可能になる。 構造に型があれば、「これは有効な表現か?」を機械的に判断できる。 自然言語では「無効な文」という概念が存在しない。 明確な構造では、必須フィールドが空なら無効だ。

整合性検査が可能になる。 同じ実体についての記述が曖昧でなければ、 「この二つの記述は矛盾するか」を機械的に判断できる。 自然言語で「CEOはAだ」と「CEOはBだ」が矛盾するかを知るには、 AIが二つの文を読んで推論しなければならない。 明瞭な構造では、同じ実体、同じ関係、異なる値——機械が見つけ出す。

明確さはコンテキストエンジニアリングパイプライン全体の前提条件だ。 索引、バリデーション、フィルタリング、整合性チェック—— 情報が明確でなければ、これらのどれも機能しない。

明確化はパイプラインの一段階ではない。 パイプラインを可能にする条件だ。


まとめ

自然言語では、明確さと簡潔さはトレードオフだ。 明確は長い。短いは曖昧。

AIには共有コンテキストがない。 自然言語の曖昧性は幻覚の原材料になる。 曖昧性の解消はトークン数を膨らませ、ウィンドウを浪費する。

構造的に明瞭な表現は、このトレードオフを崩す。 固有の識別子が曖昧さを元から断つ。 定型化された場所が省略を表に出す。 曖昧さ解消のコストが消えれば、副産物として圧縮がついてくる。

明確化はコンテキストエンジニアリングの前提条件だ。 情報が明確でなければ、索引もバリデーションも整合性チェックも機能しない。

圧縮は目標ではない。 明確化が目標だ。 圧縮が従う。