缓存

为什么将推理缓存为代码?

不让LLM每次都从头推理,而是把做过的推理固化为代码并缓存。本文介绍只在缓存未命中时才调用LLM的、类似JIT编译器的结构及其效果。