למה לשמור הסקה במטמון כקוד?
במקום ש-LLM יסיק מאפס בכל פעם, כל הסקה מגובשת לקוד ונשמרת במטמון. מבנה דמוי מהדר JIT שקורא ל-LLM רק בהחטאת מטמון, ומה שהוא משיג עם הזמן.
במקום ש-LLM יסיק מאפס בכל פעם, כל הסקה מגובשת לקוד ונשמרת במטמון. מבנה דמוי מהדר JIT שקורא ל-LLM רק בהחטאת מטמון, ומה שהוא משיג עם הזמן.