Raisonnement

Pourquoi mettre le raisonnement en cache sous forme de code ?

Au lieu qu'un LLM raisonne à partir de zéro à chaque fois, chaque inférence est cristallisée en code et mise en cache. Une structure semblable à un compilateur JIT, qui n'appelle le LLM qu'en cas d'échec de cache, et ce qu'elle produit avec le temps.