Code

Warum Schlussfolgerungen als Code cachen?

Statt ein LLM jedes Mal von vorn schlussfolgern zu lassen, wird jede Inferenz zu Code kristallisiert und zwischengespeichert. Eine JIT-Compiler-ähnliche Struktur, die das LLM nur bei einem Cache-Miss aufruft, und was sie mit der Zeit bewirkt.

Warum Annotationen Indizes sein sollten

Annotationen werden für Menschen geschrieben. Aber wenn es 10.000 Funktionen gibt, müssen auch Maschinen sie lesen können. Wenn man Annotationen von Erzählung in Index verwandelt, wird ein Full-Scan zur sofortigen Suche.