なぜ推論をコードとしてキャッシュするのか?
LLMに毎回ゼロから推論させる代わりに、一度行った推論をコードに固めてキャッシュする。キャッシュミスのときだけLLMを呼ぶJITコンパイラのような構造と、その効果を扱う。
LLMに毎回ゼロから推論させる代わりに、一度行った推論をコードに固めてキャッシュする。キャッシュミスのときだけLLMを呼ぶJITコンパイラのような構造と、その効果を扱う。
注釈は人間のために書く。しかし関数が10,000個あるとき、機械も読まなければならない。注釈を叙述からインデックスに変えれば、フルスキャンが即座に検索になる。