Mengapa Cache Penalaran sebagai Kode?

Argumen untuk Mengkristalkan Inferensi Menjadi Prosedur

AI yang Berpikir dari Nol Setiap Kali

Bayangkan Anda mengajar rekan junior cara membuat tabel pivot di spreadsheet.

Hari pertama, mereka bertanya. Anda menghabiskan tiga puluh menit menjelaskan. Hari kedua, rekan yang sama bertanya pertanyaan yang sama. Anda menghabiskan tiga puluh menit lagi. Hari ketiga, keempat – hal yang sama.

Persis begitulah cara kerja LLM saat ini.

Minta GPT untuk “parse CSV di Python,” dan model memobilisasi miliaran parameter untuk bernalar dari nol. Ajukan pertanyaan yang sama besok, atau lusa, dan biayanya sama setiap kali. Penalaran kemarin menguap. Tidak dicatat, tidak digunakan kembali, tidak terakumulasi.

Ini adalah web server yang berjalan tanpa cache. Siswa yang mengerjakan soal ujian yang sama berulang kali tanpa membuat catatan. Dan kecerdasan yang tidak mengakumulasi pengalaman tidak pernah bisa tumbuh.

LLM Adalah Kompiler, Bukan Mesin Runtime

SEGLAM menawarkan jawaban yang secara fundamental berbeda untuk masalah ini.

LLM bukan mesin runtime yang mengeksekusi setiap permintaan – ia adalah kompiler yang mengkristalkan penalaran menjadi kode.

Begini cara kerjanya:

1. Ketika permintaan masuk, periksa cache penalaran terlebih dahulu.
2. Cache Hit: Proses penalaran identik atau serupa sudah dikristalkan menjadi kode. LLM tidak dipanggil. Kode yang sesuai dieksekusi segera. Cepat, murah, dan deterministik.
3. Cache Miss: Ini adalah jenis penalaran yang belum pernah dilihat. Sekarang LLM dipanggil. Tetapi LLM tidak menghasilkan “jawaban” – ia menghasilkan “kode yang menghasilkan jawaban.” Kode ini ditambahkan ke cache.

Ketika permintaan serupa datang lagi? Cache hit. LLM bisa tetap tidur.

Analogi dengan Kompilasi JIT

Arsitektur ini adalah penemuan kembali pola yang sudah terbukti dalam ilmu komputer.

Pertimbangkan kompiler JIT (Just-In-Time). Mesin Java dan JavaScript awalnya mengeksekusi kode baris per baris melalui interpreter. Lambat, tetapi fungsional. Ketika jalur kode yang sama dieksekusi berulang kali – “ini adalah hot path” – mesin mengompilasi jalur itu menjadi kode mesin native. Sejak saat itu, ia berjalan langsung tanpa melalui interpreter.

Dalam SEGLAM:

• Interpreter = LLM. Lambat, mahal, dan probabilistik, tetapi mampu menangani permintaan apa pun.
• Kode native = kode penalaran yang di-cache. Cepat, murah, dan deterministik.
• Kompilasi JIT = proses LLM menghasilkan kode saat cache miss. Mahal, tetapi hanya perlu terjadi sekali.

Seperti kompiler JIT mengoptimalkan “hot path,” SEGLAM mengkristalkan “hot reasoning” menjadi kode.

Mengapa Cache “Kode” dan Bukan “Jawaban”?

Inilah intinya. Cache respons sederhana dan cache penalaran SEGLAM secara fundamental berbeda.

Cache respons menyimpan “T: Apa ibu kota Korea? -> J: Seoul.” Ia hanya hit ketika pertanyaan cocok persis. Tanyakan “Apa ibu kota Republik Korea?” dan ia miss. Ini kamus, bukan kecerdasan.

Cache penalaran SEGLAM menyimpan kode yang mengatakan “untuk jenis pertanyaan ini, bangun jawaban melalui prosedur ini.” Ia mengkristalkan bukan nilai spesifik, tetapi jalur penalaran itu sendiri. Oleh karena itu, bahkan ketika input berubah, pertanyaan dengan tipe yang sama tetap hit. Ini adalah pemahaman. Ini adalah pertumbuhan.

Analogi: cache respons menghafal tabel perkalian; cache penalaran belajar cara mengalikan.

Apa yang Terjadi Seiring Waktu

Karakteristik paling kuat dari desain ini adalah waktu berpihak padanya.

• Hari 1: Cache kosong. Hampir setiap permintaan adalah cache miss. LLM bekerja keras. Lambat dan mahal.
• Hari 30: Sebagian besar pola penalaran rutin ter-cache. Pemanggilan LLM berkurang.
• Hari 365: Sebagian besar permintaan adalah cache hit. LLM dipanggil hanya untuk jenis masalah yang benar-benar baru. Sistem cepat, murah, dan dapat diprediksi.
• Selanjutnya: Cache itu sendiri menjadi “kecerdasan yang terkristal” untuk domainnya. Aset intelektual yang portabel, dapat diverifikasi, dan dapat diakumulasi.

Ketergantungan pada LLM berkurang seiring waktu. Efisiensi sistem meningkat seiring waktu. Kurva ini tidak pernah berbalik.

Prinsip Pelestarian Penalaran

Prinsip paling fundamental dari pendekatan ini:

“Proses penalaran AI tidak boleh dibuang – harus dicatat.”

Cache penalaran adalah implementasi paling langsung dari filosofi ini.

Penalaran yang dilakukan LLM sekali dikristalkan menjadi representasi terstruktur dan disimpan. Tidak dibuang. Digunakan kembali. Diverifikasi. Ditingkatkan. Diakumulasi.

Dan karena kode yang di-cache ini dideskripsikan dalam bahasa yang jelas dan terstruktur:

• Anda dapat melacak mengapa prosedur tertentu dibuat,
• Anda dapat memperbaiki prosedur ketika ternyata salah,
• Anda dapat mengganti ketika prosedur yang lebih baik ditemukan.

Bukan penalaran yang menguap di dalam kotak hitam setiap panggilan, tetapi kecerdasan yang terakumulasi di kotak putih. Itulah visi AI yang layak dikejar.

Ringkasan

Memanggil LLM untuk setiap permintaan seperti naik pesawat ke rumah sebelah. Begitu Anda membangun jalan, Anda bisa berjalan kaki selanjutnya.

SEGLAM adalah sistem yang membangun jalan.