למה עידן הנדסת הפרומפטים נגמר

למה עידן הנדסת הפרומפטים נגמר

מ"איך אומרים" ל"מה מראים" – המשחק השתנה.

הנדסת פרומפטים כמקצוע

ב-2023, הופיע מקצוע חדש.

מהנדס פרומפטים.

“Think step by step.” “You are an expert with 20 years of experience.” “Let me show you some examples first.”

משפטים כאלה הפכו לידע שווה עשרות אלפי דולרים. לאותה שאלה, AI נתן תשובות שונות דרמטית בהתאם לאופן הניסוח.

הנדסת פרומפטים באמת עבדה. שורת Chain-of-Thought אחת העלתה ציוני מתמטיקה ב-20%. משפט אחד שמקצה תפקיד שינה את עומק המומחיות. שלוש דוגמאות few-shot נתנו שליטה מלאה בפורמט הפלט.

זה לא היה הייפ. זה היה אמיתי. אז למה זה נגמר?

למה זה עבד: כי המודלים היו מספיק טיפשים

הסתכל על למה הנדסת פרומפטים עבדה מעקרונות ראשונים. זה פשוט.

LLM-ים מוקדמים היו חלשים בתפיסת כוונת המשתמש. אמור “סכם” והם היו כותבים מחדש. אמור “השווה” והם היו מפרטים.

כיוון שהמודל קרא כוונה לא נכון, המיומנות של העברת כוונה במדויק הפכה ליקרה. הנדסת פרומפטים הייתה בעצם “תרגום” – תרגום כוונה אנושית לצורה שה-LLM יכול להבין.

כדי שתרגום יהיה יקר, חייב להיות מחסום שפה.

מה השתנה: המודלים הפכו חכמים

מ-GPT-3.5 ל-GPT-4. מ-Claude 2 ל-Claude 3.5. עם כל דור, יכולת תפיסת הכוונה של המודלים השתפרה דרמטית.

אמור “סכם” והם מסכמים. אמור “השווה” והם משווים. גם בלי שנאמר להם “חשוב שלב אחרי שלב,” הם מפרקים בעיות מורכבות לשלבים בעצמם.

מחסום השפה ירד. ערך התרגום הצטמצם.

טכניקות פרומפט שהפיקו הבדלים דרמטיים ב-2023 מפיקות רק הבדלים שוליים ב-2025. כשהמודל חכם מספיק, הניסוח משנה פחות ופחות.

אז מה כן משנה?

חלון ההקשר: חוק פיזיקה

ל-LLM-ים יש אילוץ פיזי אחד.

חלון ההקשר.

בין אם 128K טוקנים ובין אם מיליון טוקנים, הוא סופי. רק מידע שנכנס למרחב הסופי הזה משפיע על ההסקה. מידע מחוץ לחלון, לא משנה כמה חשוב, כאילו לא קיים.

זה בלתי תלוי בגודל המודל. גם עם טריליון פרמטרים, חלון ההקשר סופי. גם עם נתוני אימון שמכסים את כל האינטרנט, חלון ההקשר סופי.

לא משנה כמה המודל חכם, אם מידע שגוי נכנס להקשר, הוא מפיק תשובות שגויות. אם מידע לא רלוונטי ממלא את ההקשר, הוא מפספס את מה שחשוב. אם מידע נדרש חסר מההקשר, זה כאילו לא ידוע.

הנדסת פרומפטים הייתה בעיה של “איך אומרים.” המשחק החדש הוא בעיה של “מה מראים.”

זו הנדסת הקשר.

אנלוגיה: מבחן ספר פתוח

הנה אנלוגיה להבדל בין הנדסת פרומפטים להנדסת הקשר.

הנדסת פרומפטים היא לכתוב את שאלות המבחן היטב. במקום “בחר את התשובה הנכונה מלמטה,” כתוב “גזור את התשובה שלב אחרי שלב שמקיימת את כל התנאים הבאים” – והתלמיד נותן תשובה טובה יותר.

הנדסת הקשר היא השאלה אילו ספרים אתה מביא למבחן ספר פתוח. לא משנה כמה שאלות המבחן כתובות היטב, אם התלמיד הביא את הספרים הלא נכונים, הוא לא יכול לענות. מספר הספרים שאפשר להביא מוגבל. אילו ספרים מביאים קובע את הציון.

כשהמודל היה טיפש, פורמט השאלות (פרומפט) היה חשוב. כשהמודל חכם, חומר ההפניה (הקשר) חשוב.

עידן הסוכנים מאיץ את המעבר

המעבר הזה מואץ עם הופעת הסוכנים.

הנדסת פרומפטים נכתבת על ידי בני אדם בכל פעם. בני אדם כותבים את השאלה, בני אדם מסבירים את ההקשר, בני אדם מציינים את הפורמט.

סוכנים שונים. סוכנים מסיקים בעצמם, קוראים לכלים ומשתפים פעולה עם סוכנים אחרים. בכל שלב, הם חייבים להרכיב את ההקשר בעצמם.

סוכן קרא ל-API חיצוני וקיבל נתונים. הנתונים האלה צריכים להיכנס להקשר לסיבוב ההסקה הבא. אילו חלקים נכנסים ואילו נשארים בחוץ? אילו תוצאות הסקה קודמות נשמרות ואילו נזרקות? האם ניתן לסמוך על מידע ששלח סוכן אחר?

אדם לא יכול לקבל את כל ההחלטות האלה בכל פעם. כדי שסוכנים יפעלו באוטונומיה, הרכבת הקשר חייבת להיות אוטומטית.

הנדסת פרומפטים הייתה מיומנות אנושית. הנדסת הקשר חייבת להיות יכולת מערכתית.

הנדסת פרומפטים לא נעלמת

אמנע אי-הבנה.

אני לא אומר שהנדסת פרומפטים הופכת לחסרת משמעות. פרומפטים של מערכת עדיין חשובים. ציון פורמט פלט עדיין נחוץ. הצהרת תפקידים ואילוצים עדיין יעילה.

מה שמצטמצם הוא הנתח שהנדסת פרומפטים מחזיקה.

אם 70% מאיכות הפלט נקבעו על ידי הפרומפט ב-2023, ב-2025, 30% נקבעים על ידי הפרומפט ו-70% על ידי ההקשר.

היחס התהפך.

והמגמה הזו לא מתהפכת. מודלים ימשיכו להחכים, וככל שהם מחכימים, הניסוח משנה פחות וההקשר משנה יותר.

אבל להנדסת הקשר אין תשתית

כאן העניין.

להנדסת פרומפטים היו כלים. תבניות פרומפט, ספריות פרומפט, מסגרות בדיקת פרומפט. אקוסיסטם שלם לניהול שיטתי של “איך אומרים” נבנה.

להנדסת הקשר עדיין אין את זה.

הסתכל איך הקשר מטופל בפועל עכשיו.

גדלי chunks בצינור RAG מכוונים ביד. מידע רקע נכתב בפרומפטים של מערכת ביד. מה לאחסן בזיכרון של סוכן מתוכנן ביד. אילו תוצאות חיפוש להכניס להקשר נקבע ביד.

הכל ידני.

וחומר הגלם לכל העבודה הידנית הזו הוא שפה טבעית. מסמכי שפה טבעית נחתכים בשפה טבעית ומודבקים להקשר בשפה טבעית.

לשפה טבעית צפיפות מידע נמוכה. ללא מקורות. ללא רמות ודאות. ללא חותמות זמן. טוקנים מיותרים נצרכים כדי להעביר את אותה משמעות. אין דרך לאטמט שיפוט איכות.

זה מזכיר את העידן שלפני הנדסת הפרומפטים. גם הנדסת פרומפטים הייתה ידנית בהתחלה. היא הסתמכה על אינטואיציה וניסיון אישי. ואז כלים ומתודולוגיות צצו והיא הפכה לשיטתית.

הנדסת הקשר נמצאת בשלב הקודם הזה עכשיו. הבעיה זוהתה, אבל התשתית לא קיימת.

מה התשתית צריכה

כדי שהנדסת הקשר תעבור מעבודה ידנית למערכת, לכל הפחות נדרש הבא.

דחיסה. דרך להכניס יותר משמעות לאותו חלון. הסר את הדבק הדקדוקי של שפה טבעית והשאר רק משמעות, וגודל החלון האפקטיבי מוכפל – בלי לשנות את המודל.

אינדוקס. דרך למצוא את המידע הנכון במדויק. חיפוש על בסיס מבנה סמנטי, לא דמיון הטמעות. חיפוש שבו “הכנסות Apple” לא שולף “ערך תזונתי של תפוח.”

אימות. דרך לדחות מכנית מידע שלא עומד במפרט. כשם שמהדר Go תופס משתנים לא בשימוש כשגיאות, טענות ללא מקורות ועובדות ללא חותמות זמן צריכות להיות מסוננות לפני כניסה להקשר. הבדיקות הזולות והדטרמיניסטיות ביותר חייבות לבוא ראשונות.

סינון. דרך לשפוט איכות סמנטית. אם אימות מסתכל על הצורה, סינון מסתכל על התוכן. רלוונטיות, אמינות, עדכניות. האם המידע הזה באמת נדרש לסיבוב ההסקה הזה?

עקביות. דרך להבטיח קוהרנטיות פנימית של מערך המידע שנבחר. פיסות מידע טובות בנפרד יכולות לסתור זו את זו כשמשולבות. אם המנכ"ל מ-2020 והמנכ"ל מ-2024 נכנסים שניהם להקשר בו-זמנית, ה-LLM מתבלבל.

הרכבה. דרך למטב מיקום ומבנה בתוך החלון. אותו מידע מקבל משקלי קשב שונים בהתאם למיקומו. קדמי או אחורי? איך הוא מקובץ?

צבירה. דרך למערכת ללמוד ולצמוח לאורך זמן. שמירה במטמון היא שימוש חוזר בתוצאות בודדות. צבירה היא ללמוד אילו הרכבות הקשר הניבו תוצאות טובות, ולהצמיח את בסיס הידע עצמו.

שבעת אלה הם המחסנית המלאה של תשתית הנדסת הקשר.

זה לא על כלי ספציפי

אהיה ישיר.

מי שבונה את התשתית הזו היא שאלה פתוחה. כלי אחד יכול לפתור הכל, או שמספר כלים יטפלו כל אחד בשכבה.

אבל העובדה שתשתית נדרשת אינה שאלה פתוחה.

שחלון ההקשר סופי היא עובדה פיזית. גם אם החלון גדל פי 10, מידע העולם גדל מהר יותר. שלשפה טבעית צפיפות מידע נמוכה היא עובדה מבנית. שסוכנים צריכים ניהול הקשר אוטומטי כדי לפעול באוטונומיה היא הכרח לוגי.

כשם שהנדסת פרומפטים צרכה כלים, הנדסת הקשר צריכה כלים. אבל הפעם, טבע הכלים שונה.

כלי הנדסת פרומפטים היו קרובים יותר לעורכי טקסט. כלי הנדסת הקשר קרובים יותר למהדרים.

דחוס מידע, אנדקס אותו, אמת אותו, סנן אותו, בדוק עקביות, מטב מיקום, וצבור תוצאות. זו לא עריכה. זו הנדסה.

לכן זה נקרא הנדסת “הקשר.”

סיכום

הנדסת פרומפטים הייתה יקרה כשמודלים היו טיפשים. כי מודלים לא קראו כוונה, המיומנות של העברת כוונה היטב הייתה חשובה.

ככל שמודלים הפכו חכמים יותר, המשחק השתנה. מ"איך אומרים" ל"מה מראים." מפרומפט להקשר.

הופעת סוכנים מאיצה את המעבר. בני אדם לא יכולים להרכיב הקשר בכל פעם. המערכת חייבת לעשות את זה בעצמה.

אבל כעת, להנדסת הקשר אין תשתית. שפה טבעית נחתכת ומודבקת ביד.

התשתית הנדרשת כוללת שבע שכבות: דחיסה, אינדוקס, אימות, סינון, עקביות, הרכבה, צבירה.

זה לא עידן הנדסת הפרומפטים שנגמר. זה העידן שבו הנדסת פרומפטים לבדה הספיקה.