Warum Schlussfolgerungen als Code cachen?
Statt ein LLM jedes Mal von vorn schlussfolgern zu lassen, wird jede Inferenz zu Code kristallisiert und zwischengespeichert. Eine JIT-Compiler-ähnliche Struktur, die das LLM nur bei einem Cache-Miss aufruft, und was sie mit der Zeit bewirkt.