Yuval Avidani
Author
חלון ההקשר הוא כמות הטקסט שהמודל "רואה" בבת אחת. בכתבה אני מסביר מה זה טוקן, למה יש תקרה (רמז: מנגנון ה-attention גדל בערך ריבועי), ומה קורה כשחורגים. הכל עם אנלוגיית שולחן העבודה ושלושה טריקים פרקטיים.

חלון ההקשר הוא כמות הטקסט שהמודל "רואה" בבת אחת. בכתבה אני מסביר מה זה טוקן, למה יש תקרה (רמז: מנגנון ה-attention גדל בערך ריבועי), ומה קורה כשחורגים. הכל עם אנלוגיית שולחן העבודה ושלושה טריקים פרקטיים.
Yuval Avidani
Author
חלון ההקשר הוא כמות הטקסט שהמודל "רואה" בבת אחת. בכתבה אני מסביר מה זה טוקן, למה יש תקרה (רמז: מנגנון ה-attention גדל בערך ריבועי), ומה קורה כשחורגים. הכל עם אנלוגיית שולחן העבודה ושלושה טריקים פרקטיים.