캐시

왜 추론을 코드로 캐시하는가

LLM이 매번 처음부터 추론하는 대신, 한 번 한 추론을 코드로 굳혀 캐시한다. 캐시 미스일 때만 LLM을 부르는 JIT 컴파일러 같은 구조와 그 효과를 다룬다.