מה זה ״חלון ההקשר״ של מודל שפה ולמה הוא מוגבל?

מודל שפה גדול דורש לא מעט כוח עיבוד מחשובי. תשאול של מודל שפה גם הוא דורש כוח עיבוד מחשובי. כדי לחסוך בכוח עיבוד ולעבוד בצורה יעילה יותר, קיימת מגבלה: ״זיכרון״ של שיחה יוגבל לכמות טוקנים (טקסט) מסוימת.

למה? כי לא תמיד אנו מנהלים שיחות ארוכות, או שלא תמיד יש צורך לזכור את כל השיחה. יותר יעיל במקרים כאלה להגביל מראש את גודל חלון ההקשר.

אגב אם זה לא ברור - חלון הקשר משמעותו מה הכמות המקסימלית של מידע שהצ׳אט יכול להכיל ולזכור במהלך שיחה איתנו. חלון הקשר גדול יותר - זוכר יותר, שוכח לאט יותר. כאשר עוברים את גודל החלון - דורסים את המידע שהתחלנו איתו, מה שגורם לצ׳אט ל״שכחה״.

כיום המגמה היא להגדיל את חלון ההקשר, GPT התחיל עם 4096 טוקנים וכבר עומד על 128,000. קלוד החלוץ עם 100,000 כבר עלה למיליון(!). זה המון וזה ילך ויגדל. כמה יגדל? יש שמועות כבר על חלון הקשר אינסופי. האם זה יפתור את הצורך בשימוש בטכנית RAG (שמירה של מידע שהמודל לא אומן עליו בבסיס נתונים מיוחד כדי שנוכל להשתמש בו)? התשובה היא לא. אין בהכרח קשר. גודל קונטקסט לא אומר שהמודל ידע להשיב על ידע שאין לו. RAG מאפשר לתשאל ידע שלא היה למודל, חלון קונטקסט מאפשר לשמור על רצף שיחה ארוך יותר.

מקווה שקיבלתם ערך, עד הפוסט הבא.

לשואלים/ות על שימוש בוולברין לאחרונה במקום מורגן והומר - מדובר בדמות שתמיד אהבתי, בעיני הוא פרזנטור יפהפה, והצבע של המדים שלו - צהוב, מסמל בעיני את ההבלטה שלנו, לזכור את החטופים ולהתפלל לשובם הבריא במהרה.

ערב טוב,

יובל