キャッシュ

なぜ推論をコードとしてキャッシュするのか?

LLMに毎回ゼロから推論させる代わりに、一度行った推論をコードに固めてキャッシュする。キャッシュミスのときだけLLMを呼ぶJITコンパイラのような構造と、その効果を扱う。