PODCAST · technology
אנליסטים ממאדים, מנהלי מוצר מנוגה
by Reut Amir & Ariel Yaakobi
The podcast is in Hebrew, as we felt this topic deserves a deeper conversation within the Israeli tech community :-) This podcast explores the world of Generative AI products and what it really takes to make them reliable in real life.Reut Amir (Head of Product, Wix Customer Care) and Ariel Yaakobi (Head of Business Analytics, Wix Customer Care) share insights from hands-on experience evaluating GenAI products at scale. The wins, the mistakes, and the methods that actually worked for us.We explained why evaluation is one of the hardest parts of GenAI development cycle, why traditional metrics fall short, and how to measure not just whether the AI is correct, but whether it’s helpful.The podcast is designed to help product managers, analysts, and teams take their first steps into doing GenAI evaluation themselves, with practical guidance, examples, and a real-world perspective. Enjoy :-)
-
5
שופט, לא רק יוצר: מודל השפה בתפקיד נוסף - חלק ב
כבר ידוע ומוכח שודלי שפה מצוינים בלייצר טקסט. אבל בעולם מוצרי ג׳נרטיב איי.אי, הם משמשים גם כשופטים.בפרק הזה אנחנו צוללים לעולם של LLM as a Judgeהגישה שבה מודלי שפה משמשים להערכת האיכות של מודלי שפה אחרים. נדבר על למה אוואליואציה אוטומטית היא חלק קריטי ממוצרי ג׳נרטיב איי.אי, נסקור סוגים שונים של הערכות, ובחלק המרכזי נציג פריימוורק פרקטי.זה פרק שמחבר בין עולמות ה איי.אי לעולמות המוצר ועוזר להפוך איכות של מודל למשהו שאפשר לקבל עליו החלטות מוצריות, למדוד לאורך זמן, ולשפר בצורה שיטתית.נ.ב. הטקסט הזה נכתב בעזרת אי.איי ואיכותו נמדדה על ידי אי.איי. אנחנו רק תיווכנו 😉
-
4
שופט, לא רק יוצר: מודל השפה בתפקיד נוסף - חלק א
כבר ידוע ומוכח שודלי שפה מצוינים בלייצר טקסט. אבל בעולם מוצרי ג׳נרטיב איי.אי, הם משמשים גם כשופטים.בפרק הזה אנחנו צוללים לעולם של LLM as a Judgeהגישה שבה מודלי שפה משמשים להערכת האיכות של מודלי שפה אחרים. נדבר על למה אוואליואציה אוטומטית היא חלק קריטי ממוצרי ג׳נרטיב איי.אי, נסקור סוגים שונים של הערכות, ובחלק המרכזי נציג פריימוורק פרקטי.זה פרק שמחבר בין עולמות ה איי.אי לעולמות המוצר ועוזר להפוך איכות של מודל למשהו שאפשר לקבל עליו החלטות מוצריות, למדוד לאורך זמן, ולשפר בצורה שיטתית.נ.ב. הטקסט הזה נכתב בעזרת אי.איי ואיכותו נמדדה על ידי אי.איי. אנחנו רק תיווכנו 😉
-
3
לפרק כדי לחזק: Error Analysis למוצרי Gen-AI
בפרק השלישי אנחנו צוללים אל אחת הפרקטיקות החשובות ביותר בעולם האבלואציה - Error Analysis. אחרי שבפרקים הקודמים דיברנו על מהי אבלואציה ולמה חשוב להתחיל מאבלואציה ידנית, הפעם אנחנו מראים איך משתמשים בתוצאות האלה כדי להבין מה לא עובד, למה זה קורה, ואיפה בדיוק לשפר את המוצר.דרך דוגמאות אנחנו חושפים איך תהליך של ארור-אנליסיס מזהה נקודות כשל ומפרק מנגנון מורכב לשלבים ברורים, ואיך בונים קטגוריות של טעויות שמאפשרות לקבל החלטות מוצריות אמיתיות.
-
2
אבלואציה ידנית
בפרק הזה אנחנו צוללים לעולם האבלואציה הידנית למוצרי Gen-AI: איך הופכים שאלה עסקית לשאלון, איך בונים דאטה-סט מייצג, מי הם ה-evaluators הנכונים, ואילו טעויות קריטיות חשוב להימנע מהן. דרך דוגמאות אמיתיות מ-Wix CC, נפרק את התהליך ונראה איך מעריכים את איכות ה-LLM.
-
1
מאיפה מתחילים - אבלואציה של מוצרי AI
היי, אנחנו רעות ואריאל, מנהלי מוצר ודאטה ב-Wix.בפרק הראשון אנחנו פותחים את המסע שלנו אל עולם האבלואציה – המונח שכולם מזכירים, אבל מעט מאוד מדברים עליו באמת.נדבר על למה אבלואציה חשובה כל כך בעולמות ה-Gen-AI, למה קשה כל כך ליישם אותה, ואיך מתחילים לבנות תהליך מדידה חכם שמחבר בין מטרות עסקיות למדדים איכותיים.נשתף איך זה נראה אצלנו ב-Wix Customer Care ומה למדנו מהמסע של הצ'טבוט שלנו.
We're indexing this podcast's transcripts for the first time — this can take a minute or two. We'll show results as soon as they're ready.
No matches for "" in this podcast's transcripts.
No topics indexed yet for this podcast.
Loading reviews...
ABOUT THIS SHOW
The podcast is in Hebrew, as we felt this topic deserves a deeper conversation within the Israeli tech community :-) This podcast explores the world of Generative AI products and what it really takes to make them reliable in real life.Reut Amir (Head of Product, Wix Customer Care) and Ariel Yaakobi (Head of Business Analytics, Wix Customer Care) share insights from hands-on experience evaluating GenAI products at scale. The wins, the mistakes, and the methods that actually worked for us.We explained why evaluation is one of the hardest parts of GenAI development cycle, why traditional metrics fall short, and how to measure not just whether the AI is correct, but whether it’s helpful.The podcast is designed to help product managers, analysts, and teams take their first steps into doing GenAI evaluation themselves, with practical guidance, examples, and a real-world perspective. Enjoy :-)
HOSTED BY
Reut Amir & Ariel Yaakobi
CATEGORIES
Loading similar podcasts...
URL copied to clipboard!