[125] על חוקי הסקייל של מודלי שפה עם ד״ר ג׳וני רוזנפלד מMIT

בפרק זה היה את הכבוד לארח את ג׳וני, מהכותבים המקוריים של מאמר הscaling laws ב2019 שסלל את הדרך למודלי השפה העצומים של ימינו.חשבתם פעם איך לסם אלטמן היה את האומץ לשפוך מליונים על אימון GPT3 בתקווה שיהיה מודל טוב יותר מאשר מודל באלפי דולרים?תגלית חוקי הסקיילינג (שלהם ג׳וני היה שותף) היתה המנוע העיקרי להבנה איך עובדת הכלכלה של אימון מודלי שפה.נגענו במוטיבציה לכללים, ומדוע אנחנו יכולים לנבא ביצועים של מודל אף על פי שאיננו יודעים איך הוא עובד בדיוק.דיברנו על ההבדל בין ההשפעה של החוקים על שלב האימון לעומת שלב הinference כפי שאנחנו רואים במודלי chain of thought.והאם סקיילינג תלוי בארכיטרטורה של הטרנספורמרים אותה אנחנו מיישמים כיום? או שמדובר בתופעה כללית.סיימנו בדיון על העתיד של התחום, וכיצד אפשר למדוד אוטונומיה של מודלי שפה בצורה דומה בעתיד כדי להבטיח שתהיה שליטה במודלים הבאים.