367: כלכלת טוקנים - על אופטימיזציה של השימוש שלנו ב-AI

בשנתיים האחרונות, טוקנים הפכו להיות אחת מההוצאות המשמעותיות בארגונים טכנולוגיים, אלא שכרגע עוד לא ממש ברור איך לנהל אותן. כיום חברות מעודדות עובדים לשלב AI בכל תהליך, אבל מתקשות לקבל את התמורה הטובה ביותר עבור ההשקעה שלהן. אז איך מאפטמים את ההוצאה על AI ברמה הארגונית? איך אפשר לעזור לעובדים שלנו להשתמש בטוקנים בצורה חכמה? ואיך משיגים את התוצאות הרצויות בפחות טוקנים? בפרק השבוע דריה ורטהיים מדברת עם ירון סברדלוב (CDIO) וקרן קושמן (Head of Applied AI) על כלכלת הטוקנים במאנדיי דרך שלוש שכבות של אופטימיזציה - החל ממשא ומתן מול ספקיות ה-LLM, דרך שימוש חכם בטוקנים, ועד לוגיקה שצרובה ממש בהארנס עצמו. הם משתפים במאמצים כמו פיתוח סקילים כגון "Caveman", שמנקה אוטומטית טקסט מיותר מהפרומפט וחוסך כ-60% מעלות האינפוט, ודיוק וצמצום הקונטקסט לרמה אופטימלית כדי לשפר את איכות התשובה. הם מסבירים גם על מנגנוני הראוטינג שבוחרים מאחורי הקלעים את המודל המשתלם ביותר לכל משימה, ואיך פיתחו את מדד ה-monday bench שמאפשר מעקב והשוואה שעוזרים לחתוך את העלויות בעשרות אחוזים עבור אותו תוצר. לצד הפתרונות הטכנולוגיים, הם מראים שחינוך המשתמשים הוא מפתח קריטי להצלחה, ומדגימים כיצד חשיפת נתוני ההוצאות האישיות לכל עובד רתמו את האנשים לקחת אחריות והובילו לירידה דרסטית בצריכה הכוללת בארגון.See omnystudio.com/listener for privacy information.