O Caso para Cristalizar Inferencia em Procedimentos


Uma IA Que Pensa do Zero Toda Vez

Imagine que voce esta ensinando um colega junior a criar uma tabela dinamica em uma planilha.

No primeiro dia, ele pergunta. Voce gasta trinta minutos explicando. No segundo dia, o mesmo colega faz a mesma pergunta. Voce gasta mais trinta minutos. Terceiro dia, quarto dia – a mesma coisa.

Isso e exatamente como os LLMs de hoje operam.

Peca ao GPT para “parsear um CSV em Python”, e o modelo mobiliza bilhoes de parametros para raciocinar do zero. Faca a mesma pergunta amanha, ou depois de amanha, e ele paga o mesmo custo toda vez. O raciocinio de ontem evapora. Nao e registrado, nao e reutilizado, nao se acumula.

Isso e um servidor web rodando sem cache. Um estudante resolvendo o mesmo problema de prova repetidamente sem fazer anotacoes. E inteligencia que nao acumula experiencia nunca pode crescer.


O LLM e um Compilador, Nao um Motor de Execucao

O cache de raciocínio que o GEUL busca oferece uma resposta fundamentalmente diferente para esse problema.

O LLM nao e um motor de execucao que processa cada requisicao – e um compilador que cristaliza raciocinio em codigo.

Veja como funciona:

  1. Quando uma requisicao chega, verificar o cache de raciocinio primeiro.
  2. Cache Hit: Um processo de raciocinio identico ou similar ja foi cristalizado em codigo. O LLM nao e invocado. O codigo correspondente e executado imediatamente. Rapido, barato e deterministico.
  3. Cache Miss: Esse e um tipo de raciocinio nunca visto antes. Agora o LLM e invocado. Mas o LLM nao gera “uma resposta” – ele gera “codigo que produz a resposta.” Esse codigo e adicionado ao cache.

Quando uma requisicao similar vier da proxima vez? Cache hit. O LLM pode continuar dormindo.


A Analogia com Compilacao JIT

Essa arquitetura e uma redescoberta de um padrao ja comprovado na ciencia da computacao.

Considere o compilador JIT (Just-In-Time). Engines de Java e JavaScript inicialmente executam codigo linha por linha atraves de um interpretador. Lento, mas funcional. Quando o mesmo caminho de codigo e executado repetidamente – “esse e um hot path” – o engine compila esse caminho em codigo de maquina nativo. Dali em diante, ele roda diretamente sem passar pelo interpretador.

Num cache de raciocínio:

  • Interpretador = LLM. Lento, caro e probabilistico, mas capaz de lidar com qualquer requisicao.
  • Codigo nativo = codigo de raciocinio cacheado. Rapido, barato e deterministico.
  • Compilacao JIT = o processo do LLM gerando codigo em um cache miss. Custoso, mas so precisa acontecer uma vez.

Assim como um compilador JIT otimiza “hot paths”, um cache de raciocínio cristaliza “raciocinio frequente” em codigo.


Por Que Cachear “Codigo” em Vez de “Respostas”?

Esse e o ponto crucial. Um simples cache de respostas e um cache de raciocínio são fundamentalmente diferentes.

Um cache de respostas armazena “P: Qual e a capital da Coreia? -> R: Seul.” So acerta quando a pergunta coincide exatamente. Pergunte “Qual e a capital da Republica da Coreia?” e ele nao acerta. Isso e um dicionario, nao inteligencia.

Um cache de raciocínio armazena codigo que diz “para esse tipo de pergunta, construa uma resposta atraves deste procedimento.” Ele cristaliza nao o valor especifico, mas o caminho de raciocinio em si. Portanto, mesmo quando a entrada muda, o mesmo tipo de pergunta ainda acerta. Isso e compreensao. Isso e crescimento.

Uma analogia: um cache de respostas memoriza a tabuada; um cache de raciocinio aprende como multiplicar.


O Que Acontece ao Longo do Tempo

A caracteristica mais poderosa deste design e que o tempo esta do seu lado.

  • Dia 1: O cache esta vazio. Quase toda requisicao e um cache miss. O LLM trabalha duro. Lento e caro.
  • Dia 30: Uma porcao significativa dos padroes de raciocinio rotineiros esta cacheada. Invocacoes do LLM diminuem.
  • Dia 365: A maioria das requisicoes sao cache hits. O LLM e invocado apenas para tipos de problemas genuinamente novos. O sistema e rapido, barato e previsivel.
  • Alem disso: O cache em si se torna “inteligencia cristalizada” para seu dominio. Ativos intelectuais portaveis, verificaveis e acumulaveis.

A dependencia do LLM diminui ao longo do tempo. A eficiencia do sistema aumenta ao longo do tempo. Essa curva nunca se reverte.


O Principio da Preservacao do Raciocinio

O principio mais fundamental desta abordagem e:

“O processo de raciocinio de uma IA nao deve ser descartado – deve ser registrado.”

O cache de raciocinio e a implementacao mais direta desta filosofia.

O raciocinio que um LLM realiza uma vez e cristalizado em uma representacao estruturada e armazenado. Nao e descartado. E reutilizado. Verificado. Melhorado. Acumulado.

E como esse codigo cacheado e descrito em uma linguagem clara e estruturada:

  • Voce pode rastrear por que um determinado procedimento foi criado,
  • Voce pode corrigir um procedimento quando se descobre que esta errado,
  • Voce pode substituir quando um procedimento melhor e descoberto.

Nao raciocinio que evapora dentro de uma caixa preta a cada chamada, mas inteligencia que se acumula em uma caixa branca. Essa e a visao de IA que vale a pena perseguir.


Resumo

LLM ConvencionalCache de raciocínio
Raciocina do zero a cada requisicaoExecuta codigo cacheado no cache hit
Resultados de raciocinio evaporamRaciocinio cristaliza em codigo e se acumula
Custo escala com o usoCusto diminui ao longo do tempo
LLM = motor de execucaoLLM = compilador
Raciocinio caixa pretaCodigo que pode ser verificado, corrigido e substituido

Chamar o LLM para cada requisicao e como pegar um aviao para a casa ao lado. Uma vez que voce pavimente uma estrada, pode caminhar dali em diante.

Um cache de raciocínio é o sistema que pavimenta estradas.