למה לשמור הסקה במטמון כקוד?
במקום ש-LLM יסיק מאפס בכל פעם, כל הסקה מגובשת לקוד ונשמרת במטמון. מבנה דמוי מהדר JIT שקורא ל-LLM רק בהחטאת מטמון, ומה שהוא משיג עם הזמן.
במקום ש-LLM יסיק מאפס בכל פעם, כל הסקה מגובשת לקוד ונשמרת במטמון. מבנה דמוי מהדר JIT שקורא ל-LLM רק בהחטאת מטמון, ומה שהוא משיג עם הזמן.
הערות נכתבות בשביל בני אדם. אבל כשיש 10,000 פונקציות, גם מכונות צריכות לקרוא אותן. אם הופכים הערות מסיפור לאינדקס, סריקה מלאה הופכת לחיפוש מיידי.