コード

なぜ推論をコードとしてキャッシュするのか?

LLMに毎回ゼロから推論させる代わりに、一度行った推論をコードに固めてキャッシュする。キャッシュミスのときだけLLMを呼ぶJITコンパイラのような構造と、その効果を扱う。

なぜ注釈はインデックスであるべきなのか

注釈は人間のために書く。しかし関数が10,000個あるとき、機械も読まなければならない。注釈を叙述からインデックスに変えれば、フルスキャンが即座に検索になる。