(המסע לחילוץ) רשימת הכלים הסודית מהקהילה שלי בוואצאפ

תוכן עניינים

קהילת הבינה המלאכותית שלי מכילה אנשים ונשים יוצאי דופן. באמת. משתפים מידע באופן שוטף לילות כימים, כלים, קישורים, המלצות, דיונים. והכל "לשם שמיים" כדי לעזור זה לזו.

הבעיה היא שהקבוצה מכילה המון חברים וחברות והמון מידע ולפעמים קשה (וגם חבל) לפספס כלים והמלצות שמתפרסמים בה. אז החלטתי לעשות מעשה, לייצא את הצ'אט ולהשתמש במודל AI כדי לקבל סיכום של כל הכלים עם קישורים וכל מה שצריך. מסתבר שזה לא כזה פשוט וזה היה מסע די מייגע והחלטתי לשתף אתכם כי אני חושב שהממצאים מעניינים ויש להם ערך. בואו נתחיל.

שלב 1: נכנסתי להגדרות הקבוצה -> ייצאתי את הצ'אט ללא מדיה

שלב 2: ניסיתי להעלות את הקובץ שקיבלתי (קובץ TXT במשקל של כ-20 מגה) ל-NOTEBOOKLM של גוגל, אך ההעלאה נכשלה פעם אחר פעם. ניסיתי להיכנס ל-GOOGLE AI STUDIO, העליתי את הקובץ וקיבלתי את השגיאה הבאה: Token count for the prompt has been exceeded.
כאשר התסכלתי על מספר הטוקנים של הקובץ ראיתי שהוא עומד על כ-7.2 מיליון טוקנים!

שלב 3: ניסיתי לבחון מודלים שונים אך הקובץ היה גדול מדי עבורם,

PREPLEXITY למשל יכול להכיל בממשק שבאתר עד 30 אלף טוקנים מקסימום, שזה בהערכה גסה סביב 18 אלף מילים בעברית. בקובץ שלנו יש הרבה יותר ולכן הוא לא יכול להתמודד עם זה וכשניסה - פשוט הזה:

לאחר עוד קצת התעקשות עם פרפלקסיטי הוא נתן לי תוצאה אחת בלבד:

שלב 4: ניסיתי את מודל GPT-4o, שיש לו קיבולת גדולה יותר של טוקנים, אבל מה קרה? GPT נתן לי שגיאה: Unknown error occurred:

שלב 5: ניסיתי, איך לא, את COHERE שאני מהלל ומשבח בכל במה. גם לשם העליתי את הקובץ וביקשתי סיכום של התוכן בצורת טבלה. גם לו היה קשה מאוד בגלל הכמות:

שלב 6: שולף את הכלי הסודי שלי מארגז הכלים. ברוכים הבאים למים העמוקים. נכנסתי ל-PINECONE והחלטתי להשתמש ב-INDEX שלהם כדי לשמור את כל המידע בבסיס הנתונים הווקטורי שלהם שהופך את המידע לרשימות של מספרים ושומר אותם במרחב רב מימדי. כל רשימת מספרים במרחב, וקטור, מייצגת משמעות מסוימת. מילים דומות יהפכו לרשימות מספרים דומות ולכן המיקום שלהן על פני המרחב הרב מימדי יהיה סמוך, יחסית. הקירבה ביניהן תהיה רבה. זה נקרא לבצע EMBEDDING למידע שלנו. והנה הקסם קרה לנגד עיני: