代码

为什么将推理缓存为代码?

不让LLM每次都从头推理,而是把做过的推理固化为代码并缓存。本文介绍只在缓存未命中时才调用LLM的、类似JIT编译器的结构及其效果。

为什么注释应该成为索引

注释是为人写的。但当函数多达10,000个时,机器也必须能读。将注释从叙述变为索引,全量扫描就变成了即时检索。