왜 추론을 코드로 캐시하는가
LLM이 매번 처음부터 추론하는 대신, 한 번 한 추론을 코드로 굳혀 캐시한다. 캐시 미스일 때만 LLM을 부르는 JIT 컴파일러 같은 구조와 그 효과를 다룬다.
LLM이 매번 처음부터 추론하는 대신, 한 번 한 추론을 코드로 굳혀 캐시한다. 캐시 미스일 때만 LLM을 부르는 JIT 컴파일러 같은 구조와 그 효과를 다룬다.
주석은 사람을 위해 쓴다. 그러나 함수가 10,000개일 때 기계도 읽어야 한다. 주석을 서사에서 인덱스로 바꾸면, 풀스캔이 즉시 검색이 된다.