Code

Pourquoi mettre le raisonnement en cache sous forme de code ?

Au lieu qu'un LLM raisonne à partir de zéro à chaque fois, chaque inférence est cristallisée en code et mise en cache. Une structure semblable à un compilateur JIT, qui n'appelle le LLM qu'en cas d'échec de cache, et ce qu'elle produit avec le temps.

Pourquoi les annotations doivent être des index

Les annotations sont écrites pour les humains. Mais quand il y a 10 000 fonctions, les machines doivent aussi les lire. Si l'on transforme les annotations de récit en index, le scan complet devient une recherche instantanée.