LLM

11 מאמרים בקטגוריה זו
11
סיור

עדכון גרסה: פייסבוק מחוללת סערה ומשחררת את לאמה-3.1, מודל שפה עם 405 מיליארד פרמטרים - וזה הזמן לצלול לקוונטיזציה!

מאת Yuval Avidani

אמ:לק - פייסבוק (מטא\מתה) חוללה סערה ברשת הלילה כאשר הכריזה על גרסה חדשה למודל השפה שלה: לאמה-3.1, מדובר במודל עצום שיהיה פתוח לשימוש מסחרי. אבל כדי להריץ אותו צריך להבין מה דרוש ברמת החומרה והזיכרון, ואיך שוב - הכל סובב סביב קוונטיזציה. בואו נדבר על הכל....

כמה זיכרון צריך כדי להריץ מודל שפה במחשב שלנו? (ומה זו קוונטיזציה)

מאת Yuval Avidani

אמ:לק - משקל מודל השפה נקבע מכמות הפרמטרים שהוא מכיל. כל פרמטר מיוצג מספרית בצורה מסוימת. טכניקת קוונטיזציה מאפשרת להריץ מודל גדולים בצורה חסכונית יותר. בואו נדבר על זה....