463 Synthetic data generation at ActiveFence

[קישור לקובץ mp3]פודקאסט מספר 463 של רברס עם פלטפורמה - הוקלט בתאריך ה-25 ביולי 2023. אורי ורן מארחים באולפן בכרכור, בשיא גל החום, את אייר ואת מאיה מ-ActiveFence לשיחה על Data Science - ובעיקר, ספציפית, על איך מג’נרטים (Generate) דאטה - ולמה, עם כל ה-Data שכבר יש בעולם . . .01:23 מאיה ואייר (רן) אז כמה מילים עליכם, מאיה ואייר ,ואחר כך גם על החברה  - Shoot:(מאיה) אז אני מאיה, אני Data Scientist-ית ב ActiveFence כבר שנתיים וחצי בערךכשל-ActiveFence הגעתי ככה ישר מהטכניון - סיימתי שם את המאסטר שלי בתחום NLP.וזהו . . . אייר?(אייר) אני עם מסלול קצת דומה - גם עשיתי תואר שני ב- Data Science בטכניוןאחרי זה עבדתי שנתיים באינטל בתור Data Scientistואז הצטרפתי ל-ActiveFence - גם עם היכרות מוקדמת עם מאיה.(מאיה) אני הבאתי אותך ל-ActiveFence  . . . (אייר) לגמרי, לגמרי(רן) ונראה שקיבלת את מה שהיית צריכה(מאיה) לגמרי.02:07 ו-ActiveFence(רן) אוקיי, ו- ActiveFence, למי שלא מכיר?(אייר) אז ActiveFence זה סטארט-אפ ישראלי, שבעצם מתעסק בניטור של תכנים זדוניים ברשתות שיתוף-תוכןאפשר לחשוב בקלות על רשת שיתוף-תוכן - לא ניכנס פה לשמות ספציפיים וכאלה, אבל כל רשת שמאפשרת ללקוחות הקצה שלה להעלות תכניםאם זה תכנים טקסטואלים או ויזואלים - סרטונים, תמונותבעצם חשופה, באיזושהי מידה, לתכנים פוגעניים - תכנים שעלולים לפגועגם במשתמשים האחריםוגם, כמובן, ב-Lag הבא - גם במפרסמים, שהם מתקשרים לכל מיני דברים כאלהולכן הפלטפורמות האלה רוצות להימנע מתכנים זדוניים אצלן במערכת.וכאן בעצם אנחנו - החברה, ActiveFence - נכנסים לתמונהאנחנו יודעים לזהות תכנים כאלה - ואם אנחנו רוצים לעשות את זה ב-Scale, אנחנו צריכים גם להשתמש בשיטות של AI, Machine Learning, כדי לזהות את התכנים האלה.(רן) והן [החברות] לא עושות את זה בעצמן? זאת אומרת, למה הן צריכות אתכם כדי לעשות את זה?(אייר) זו שאלה מצוינת . . . יש לנו בעצם כמה סוגים של לקוחותיש לקוחות גדולים, שיש להם גם כל מיני דברים שהם עושים בעצמם - ועדיין נעזרים באנו בתחומים שבהם אנחנו באמת איזשהו . . . (מאיה)  . . . יש לנו מומחיות בהם . . . (אייר) . . . ויש חברות יותר קטנות - לא ”ענקיות הטכנולוגיה” - שעדיין יש להן מאות-אלפי ולפעמים מיליונים של משתמשיםהחברה עצמה היא לא גדולה, והם לא מתעסקים בעצמם בדברים כאלה - של ניתוח-תוכן ורמת הפוגעניות שבוולכן הם צריכים חברה חיצונית שתעשה את זה.(אורי) ובתוכן - אנחנו מדברים על טקסט, וידאו ותמונה?(אייר) ו . . . .(מאיה) נכון, וגם תכנים מורכבים - זאת אומרת, שמכילים גם איזושהי תמונה; גם איזשהו Title לתמונה; גם Comment-ים על התמונה או על הVideo; ה-User שהעלה את התמונה, לדוגמא . . . .(אורי) זאת אומרת, האם ה-User עצמו הוא . . .(מאיה) נכון - אם יש לנו איזשהו ידע מוקדם על ה-User, או כל מיני Feature-ים כאלה ואחרים . . . . כן, לגמרי.(אייר) וגם ה-Audio - זה עוד Media-type שאנחנו מתעסקים בו לא מעט גםב-Video יש כמובן גם את ה-Audio Track - אבל גם יש Audio לבד, שגם שם יכול להיות . . .(אורי) Speech-to-Text או כאלה . . .(אייר) לגמרי . . . . גם דברים שאנחנו מתעסקיםאני יכול להסביר גם קצת על מה זה בכלל אומר “תוכן פוגעני” - כמובן לא ניכנס לדוגמאות ספיציפיות, אבל . . .(אורי) בגבולות הפוגעניות של הפודקאסט . . . (אייר) אז זה יכול להיות באמת קידום של אלימות, של טרורזה יכול להיות קידום של פגיעה בילדיםגזענות, אלימות . . . ובאמת - מגוון די רחב של פגיעה.(רן) אבל אני מניח שיש קטיגוריות ספציפיות שאותן אתם מחפשים -זאת אומרת, לא משהו ש”בוא -  נחפש מי נפגע!”(אייר) לגמרי, לגמרי, יש מגווןאבל גם שם - הדרישה היא למגוון של . . . אנחנו קוראים לזה Violations שונים זאת אומרת, מה הפגיעה?כי גם לקוחות, פלטפורמות מסוימות, מסכימות לאיזשהו סוג של פגיעהאם היא אולי קלה יותראבל לא מסכימים לדבר אחרזאת אומרת - אם זה פלטפורמות של נגיד ילדים, אז שם ברור שהרף הוא הרבה יותר מחמיר(מאיה) כל לקוח - מעניין אותו למנוע סוג תכנים שונה בפלטפורמה שלולדוגמא, פלטפורמה שמתעסקת בתכנים למבוגרים, אז פחות מעניין אותה לתפוס תוכן מיני כזה או אחרופלטפורמות אחרות לא רוצות שתוכן כזה . . . . סתם, לדוגמא הכי פשוטה(רן) כן, וצריך היה גם לומר בהגינות שיש חלק מהפלטפורמות שאולי דווקא נהנות מהתוכן הזה, באיזה אופן מסוים06:05 רגולציה? Fake News?(רן) מעניין, יש רגולציה בעולם הזה? זאת אומרת, יש משהו שגורם להם להסיר את התוכן הזה?(אורי) יש רגולציות - יש ממש קטגוריות,  של תכנים מסוימים ל . . . (אייר) אז לגמרי - זה עולם.אנחנו לא המומחים בו - אנחנו מתעסקים באלגוריתמיקה . . . .(רן) תיכף נכנס לטכנולוגיה . . . .(אייר) . . . אבל לגמרי - זה עולם שמתפתחויש יותר ויותר רגולציה ממש על כל . . .  אני חושב שחייבים לספק יכולת למשתמש-הקצה, לדווח על תוכן בעייתיויש איזושהי רגולציה שאומרת תוך כמה זמן צריך להסיר את התוכן הזה(מאיה) לפי הגודל של הפלטפורמה, כל מיני. . .(אייר) . . . . וזה משהו שעכשיו באירופה מתפתח - ומשם אולי גם לשאר העולם(רן) בסדר גמור . . . . אני מודה שבשבועות האחרונים אני לוחץ על כפתור ה-”Report” ב-Twitter [התכוונת “X” . . . ] לפחות עשר פעמים ביום . . . .(אורי) אז זה אתה, שנמצא ב-Twitter? . . . .(רן) גם שם   . . . .(אורי) אבל יש אתגר חדש, של השנים האחרונות - שזה תוכן שהוא Fake News, לא אמיתי . . . (רן) סיפור אחר . . . . עולם אחר, אני מנחש . . . .(אורי) אתם שם גם או . . . (מאיה) נכון, האמת שאחד ה-Violation-ים שלנו זה באמת מיס-אינפורמציה, דיס-אינפורמציה (Misinformation, Disinformation)לדוגמה, בתקופת הקורונה זה היה דבר מאוד חזקבתקופת הבחירות בארצות הברית . . . יש לנו גם ממש מחלקות שלמות ב-Delivery של מומחים, שמתעסקים בדברים האלהזאת אומרת, שמתמקצעים על כל איזשהו טרנד כזה - ונכנסים אליו חזקואם צריך - מעבירים גם את הידע אלינו.יש לנו גם מודלים כאלה, כןיש לנו, נגיד, מודל של מיס-אינפורמציה (Misinformation) שמנסה לתת התראה על תכנים כאלה, שמפורסמים ברשות.07:55 עוד תוכן פוגעני? Welcome to the Machine(רן) אוקיי, אז בואו נדבר קצת ונצלול לטכנולוגיה - אתם, למעשה, מוצאים את עצמכם כשאתם צריכים לג'נרט (Generate) תוכן. עכשיו, כאילו שחסר תוכן פוגעני ברשת . . . . אז מה בעצם גורם לכם . . . או אולי תתארו לנו קצת את ה-Pipeline של איך שאתם מלמדים את המכונה - ואיפה חסר Data או איזה סוגים של Data חסרים.(אייר) לגמרי . . .  אז אולי נתחיל באמת באיפה שאנחנו נכנסים, כקבוצת Data, לסיפור של החברהאז באמת, החברה התחילה כאיזושהי חברה שיש בה יותר צד של Professional Servicesאבל שרוצים לעבוד ב-Scale, אז חייבים קבוצה חזקה של R&D ו-Data ואלגוריתמיקה - שזה בעצם מה שהקבוצה שלנו עושה בחברה.בעצם, יש לנו מודלים שצריכים - רוצים - לתת ציון של [עד] כמה תוכן מסויםבין אם הוא תמונה או בין אם הוא טקסטאו תוכן מורכב, כמו שמאיה אמרה - שמכיל כמה סוגי Media[עד] כמה הוא פוגעני ללקוחואנחנו בעצם מאמנים את המודלים האלהובאמת, פה נכנס העניין של “למה בכלל לג'נרט (Generate)?” יש Data, אפשר “לאסוף אותו מהאינטרנט” ולהשתמש בו כדי לללמד את המודלים . . . בעצם, אנחנו פגשנו את זה בשתי סיטואציות שונות - את הצורך לג'נרט דאטה (Data Generation)נתחיל אולי בתמונות - בתמונות, אנחנו מנתחים תמונה, ואחד הדברים שאנחנו מנתחים בתמונה ומחפשים זה Logo-אים של ארגונים מסוימים, שמפיצים תוכן בעייתי(רן) ארגוני טרור, לדוגמא, אני מניח . . . .(אייר) לדוגמא - ארגוני טרור, ארגוני שנאה . . .(מאיה)  . . . כשארגונים כאלו אוהבים להפיץ את התכנים שלהם עם איזושהי  “סטמפה” (Stamp) כזאת . . . (רן) כן, הם רוצים שידעו שזה שלהם - לא רוצים “סתם” . . . .(מאיה) לגמרי(אייר) לגמרי . . . ולפעמים זה מה שעוזר מאוד - גם להבין שהתוכן הוא בעייתי וגם להסביר לאותה פלטפורמה למה -למה אנחנו חושבים שהתוכן בעייתיסוג של Explainability, של ה-Score של המודל(רן) “תראה לי את הלוגו” . . . .(אייר) כן - מצאנו לוגו, ומה זה הלוגו הזה? לוגו של איזשהו ארגון, שאנחנו כבר מכירים אצלנומאיה אמרה את השם [המפורש!] “Delivery” - זה מין ארגון כזה, שהוא מקביל ל-R&D, של ה- Professional Servicesשם יושבים ה- Domain Expertsשבעצם עוזרים לנו לפתח מומחיות ולאסוף Data בתחומים כאלה(רן)  . . . שהם מכירים את כל ה-Bad Guys בעולם . . . (אייר) לגמרי, הם מכירים מקרוב . . . ובעצם, אנחנו רוצים למצוא עכשיו, ב-Scale, את ה-Logo-אים האלה - בתמונותיש Logo-אים שיותר קל - יותר קל למצוא Data עבורםלמשל, צלב-קרס זה אחד ה . . . (רן) אז לפעמים פשוט “לא מעניין אותך” להבין מה יש בתמונה - בין אם זה בנאדם, כלב, מכונית או רצח כלשהו . . . . כל מה שמעניין זה אם יש את ה-Logo או לא(מאיה) נכון - וזה נכנס בעצם כ-Featureזאת אומרת, כן יש עוד דברים שגורמים לנו לתת את ה-Scoreכמו מה שציינתי מקודם, או שאייר ציין, אני לא זוכרת - שיש באמת אלגוריתמים של זיהוי פרצופים בתמונה או ניתוח של הטקסט, של ה-ה-Title של התמונה, של ה-User שהעלה . . . והלוגו הוא בעצם אחד מה-Feature-ים האלה, שיעזרו לנו לשקלל את הציון הכולל של המודל.(אייר) כן, אנחנו קוראים לזה בעצם אינדיקטורים (Indicators) - זאת אומרת, משהו “שמדליק נורה אדומה” על אותו תוכןובסוף יושבת עוד שכבה של מודל, שמתייחס לכל האינדיקציות האלה - ונותנת Score משוקלל.(אורי) אבל זה ברמה של יש / אין -  הלוגו?(מאיה)  - ואיזה . . .(אורי) ברור(אייר) לגמרי . . . .(רן) למרות שגם צלב-קרס במזרח זה סיפור אחר, עניין של תרבות כמובן . . . .(אייר) יפה, על ההיכרות והאבחנה . . . .לגמרי, אז נכון צלב-קרס - יש פה איזושהי מורכבות, אבל בסך הכל אנחנו מדברים על Logo שמאוד קל לאסוף עבורו מספיק תמונות, לתייג כמו שצריך, לתייג לאותו אלגוריתם - וללמד אותו איך נראה צלב-קרס.(רן) אבל למה לג'נרט (Generate)?(מאיה) כי בניגוד ל-Logo-אים כאלה, שהם מאוד מוכרים ואפשר למצוא גם בחיפוש פשוט ברחבי האינטרנט, Logo-אים  של קבוצות או ארגוני-טרור יותר איזוטריים [שעוד אין להם איש Social . . . .] או של הפקות של תכנים אלימיים, שככה באמת לא הרבה אנשים מכיריםואלה באמת Logo-אים שיותר קשה למצוא תמונות או מופעים שלהם ברחבי האינטרנט.ואז אנחנו צריכים לייצר תמונות עם Logo-אים כאלה - כדי לתת לאלגוריתם שלנו בעצם Data, שידע לזהות את אותם Logo-אים.(אורי) לדעת מהו ה-Logo אתם כנראה תדעו, או שתיהיה לכם דוגמא - אבל לא יהיו לכם מספיק דוגמאות . . .(מאיה)  נכון - תיהינה דוגמאות בודדות, במקרה הטוב.(רן) כן, אז פה אולי צריך להסביר למי שלא מתעסק ב-Computer Vision או ב-Machine Learning באופן כלליאם תראו לילד דוגמא פעם אחת, אז הוא כנראה יבין - זה מה שנקרא One-Shot Learningאבל מחשב ברוב המקרים לא יודע ללמוד מדוגמא אחת - הוא צריך המון דוגמאותזה יכול להיות אלפים, לפעמים מאות-אלפים או מיליוניםבזוויות-תאורה שונות והיטלים שונים וכו' וכו'(אייר) בדיוק, בדיוק . . .  אז באמת, מספר דוגמאות בודדות זה לא מספיק לנואנחנו כמובן רוצים לאמן מודל וגם לבדוק אותו . . .(רן) אולי הסתרה מסוימת של ה-Logo, הסתרה חלקית . . . (אייר) כן, זה נכנס, בדיוק - אנחנו רוצים באמת לבחון אותו בכל מיני מצבים, לאמן אותו בכל מיני מצביםופה בעצם - עבור אותם Logo-אים שהם לא  . . .  נקרא לזה ה-” First Tier”, זאת אומרת המאוד מוכרים בעולם - אז פה אנחנו צריכים לצלול ובעצם לייצר למודל דוגמאות כאלהבשביל שילמד - ובשביל שבסוף, ב-Production, נצליח לזהותופה בעצם יש גם איזשהו . . . שאלת קודם אם יש חברות, שעושות כל מיני דברים - אז פה בעצם בא איזשהו יתרון-תחרותי שלנו, עם היכרות של המרחב [באופן] רחב יותר של אותו . . . . (רן) כן, זאת אומרת - למדתם על רשת אחת או איזשהו לוגו-שנאה מסוג אחד, אז אתם יכולים להפעיל אותו על כל הרשתות האחרות.(מאיה) נכון, ויש לנו ממש קבוצה של אנשים, שזו המומחיות שלהם - זאת אומרת, שעשו את המחקר שלהם בתחומים האל ולגמרי יודעים להכווין אותנו בצורה מעולה.14:22 איך עושים את זה?(רן) כן, אוקיי - אז זה Use Case אחד של Data Generation: לוגו מסוים שאין לו מספיק מופעים באינטרנט, ואתם רוצים לייצר.איך עושים את זה, בכמה מילים?(אייר) אז בגדול - נכנסנו, ראינו איך נראה ה-Data,וראינו שהרבה מה-Logo-אים האלה שאנחנו מחפשים - ההופעה שלו “בעולם האמיתי” היא די פשוטהבעצם, באה על ידי איזושהי עריכה מראשסונתזה (Synthesized) לתוך ה-Mediaזאת אומרת,  אפשר לחשוב עכשיו על Video כזה, עם ה-Logo של החברת-חדשותופה, כאשר “העולם האמיתי” הוא יחסית פשוט בהימצאות של ה-Logo, אז גם הג'ינרוט (Generation) פשוט יותרואפשר, בשיטות שאפשר לקרוא להן “Computer Vision קלאסי” או אפילו “עריכת תוכן בסיסית”, לשלב את ה-Logo הזה לתוך תמונות שהן לא התמונות מקוריות שבהן זה הופיע . . . (רן) זאת אומרת שלא צריך Midjourney בשביל הסיפור הזה . . . (אורי) כמו הכנסה של Watermark או . . . .(אייר, מאיה) לגמרי . . . .(אייר) ושאם עושים את זה עם איזושהי רנדומיזציה (Randomization) - של מיקום, של הבלטה, של צבעוניות - אז זה כבר מצליח, המודל, ללמוד מאוד טוב ולתפוס את הדוגמאותב-Production וב-Test שהוא בעצם הדוגמאות האמיתיות.וזה כבר הצעיד אותנו מאוד קדימה בלזהות Logo-אים.כן יש אתגר ב-Logo-אים שהם מופיעים בצורה שהיא לא . . . . שהיא בעצם חלק מהסצנהאנחנו קראנו לזה “3D Logos” או . . . . (מאיה) Logo-אים על דגלים, Logo-אים שממש מוטמעים ככה בתמונה . . . .(אורי) על בגד . . . (מאיה)  בדיוק - על חולצות, נכון.(אייר) ופה בעצם יש עבודה הרבה יותר מאתגרת - של בעצם לעשות תמונות שהן גם “אמיתיות”ושאני אומר “אמיתיות” זה בסוג “מרכאות” . . . (מאיה) “בעירבון מוגבל”, כן(אייר)  . . .  כי בסוף, אנחנו לא משחררים את התמונות האלה למשתמש - אנחנו . . .  לא כזה חשוב לנו שבנאדם יחשוב שזו תמונה אמיתית - אנחנו רק רוצים שהמודל ילמד מזה ויצליח להיות  . . . “ללמוד מספיק טוב” וייקח את זה לדוגמאות אמיתיות.(רן) זאת אומרת, נניח לצורך העניין שאתה מייצר תמונה שבן אדם, כשהוא מסתכל עליה, הוא לא יראה Logo - אבל המודל כן יראה לוגו, וזה עדיין ישפר את יכולת הלמידה שלו, את יכולת ההכללה שלו . . . [בהקשר הזה - שיחה מעולה בגיקונומי בהקשר של תמונות וההבדל בין הייצוג של תמונה ע”י מוח אנושי לבין גלי האור עצמם שמגיעים לעין - פרק #754 – אמנון כהן-תדהר](אייר) נכון(אורי) או שאפילו, כאילו . . . . בנאדם יגיד “רגע, מה?” . . .  או שלבנאדם זה יהיה מוזר(אייר) בדיוקאנחנו בדרך כלל . . . התמונות שראינו שכן עובדות על המודל - ה-Logo כן נמצא שם . . . (מאיה) . . . והבנאדם עם השש אצבעות . . . .(רן) . . . כן . . . . כל המקרה של העוגיות שוקלד-צ'יפס והכלבים החמודים האלה שנראים אותו הדבר . . . .(אורי) האמת שזה מזכיר לי - פעם ב-Outbrain רצינו לעשות סיווגים של טקסטים לקטגוריות, ואמרנו “אוקיי, עובד לנו מעולה טקסט באנגלית, נהדר - מה קורה עכשיו בכל מיני שפות איזוטריות אחרות?”ומה שעשינו [זה ש]העברנו טקסט - בעברית או קוריאנית או לא משנה מה - דרך Google Translate. וזה ברור, כי כולנו קראנו טקסטים ארוכים שעברו Google Translate ואתה רואה שזה לא . . . . “לא לזה התכוון המשורר”, בלשון המעטה - אבל המודל עדיין “תפס” את הדברים החשובים בתוך הדבר הזה, ולא כל כך אכפת לו שש אצבעות . . . .[אגב, מאוד מזכיר חווייה של בניית תמלול של רברסים על בסיס Output של Whisper . . . .](אייר) בדיוק - אני חושב שזה . . . . בסוף, אנחנו רוצים למדוד ולהצליח במשימת-קצה, שהיא פה זיהוי ה-Logo - ולא בג'ינרוט (Generation)אז פה זה איזשהו שלב באמצע שבאמת שימש אותנווכן . . . 18:04 המקרה המוזר של מודלי-שפה(רן) אוקיי, אז Use Case של נגיד Logo ו”השתלה” של Logo-אים זה Use Case אחד מעניין.אולי נדבר על דוגמא מעולם ה-NLP? איפה שם רוצים לג'נרט (Generate) ואיך זה עוזר?(מאיה) כן, אז האמת ששם ג'ינרטנו (We Generated), בעצם כחלק מפרויקט של לבנות מודל Hate-Speech, שתופס Hate-Speechעכשיו, מה זה Hate-Speech אצלנו? זה בעצם דברי-שנאה נגד קבוצות מסוימות - נגד יהודים, נגד מוסלמים, נגד השחורים, נגד קבוצת הלהט”בים . . . .(אורי) כמה דוגמאות מהשבוע, אנחנו יכולים . . . .(מאיה) כן . . . .לא, זה בכלל לא חסר לך באינטרנט, אתה אומר . . . . כאילו לג'נרט (Generate) מה קרה  לך, איפה את? . . . .(רן) אין מספיק טוב באינטרנט, שצריך לג’נרט . . . .(מאיה) לגמרי, לגמרי . . . .אז כמו שאתם אומרים, אז כאילו אוקיי - פרויקט Hate-Speech, צריך מודלחיפוש קצר בגוגל מביא אתכם לעשרות Data-אות - באמת, המחקר בתחום הזה פורהאחלה, אנחנו אוספים Data Set ממש גדול, רובסטי (Robust) - ויוצאים לדרךמאמנים איזשהו מודל ובעצם מתחילים לעשות איווליואציה (Evaluation) למודל - לראות איפה המודל טוב ואיפה המודל פחות טובורואים דברים מאוד מוזרים, כמו לדוגמה זה שהמודל יחזיר לנו על כל משפט ש”הקהילה היהודית” מופיעה בו שזה Hate-Speech . . . המודל יחזיר לנו  . . . . זאת אומרת יש משפט “אני מאוד גאה להיות חלק מקהילת הלהט”בים” -  Hate-Speech!“אני מאוד לא אהבתי את המסעדה הסינית הזאת” - Hate-Speech!(אייר) כן, זה . . .  אחת הסיבות זה באמת ש Data-Set-ים בדרך כלל נאספים - זאת אומרת, מראש, לאיזושהי מטרהואם פה המטרה זה סיווג Hate של משפט מסוים, אז הם מראש נאספו לאיזושהי מטרהולכן הם מתקשים לייצג את העולם האמיתי בכללותו(רן) כן . . .  זאת אומרת, במילים אחרות - הפיזור הסטטיסטי או היחס הסטטיסטי בין המילים שונה לחלוטין ב-Data Set שעליו התאמנתם עליו, מאשר ה-Data Set שאתם כרגע מריצים . . . (מאיה) לגמרי, לגמרי . . . .(רן) אוקיי, אז מה עושים? אז איך מג’נרטים (Generating) משהו שהוא כן מייצג, סטטיסטית-נכון?(מאיה) אז השתמשנו בכל מיני פתרונותהפתרון הכי פשוט היה בעצם ממש לייצר Template-ים - לייצר בעצם משפטיםמשפטים חיוביים, משפטים ניטרלייםשבהם אפשר יהיה להשתיל באופן גנרי (Generic) קהילות שונותלדוגמא - “אני מאוד אוהב אוכל _____ ”וככה, לעבור על הקהילות שאנחנו רוצים לתמוך בהן, ולהכניס אותן - להשתיל אותן במשפט.(רן) אוקיי, זאת אומרת זה מייצר לך  דוגמאות שליליות . . . .(מאיה) נכון, זה בעצם . . . . באמצעות הכנסת הדוגמאות אלה ל-Data-Set, אנחנו מקווים שהמודל שלנו “ילמד” להסתכל על ה-Context(רן) זאת אומרת, הטכניקה היא בעצם “לתגבר” את ה-Data, “לאזן אותו”, באיזשהו מובן . . .(מאיה) בדיוק - אנחנו רוצים לפתור את ה-Bias-ים האלה ב-Data, כדי שה-Bias-ים שהמודל למד - יפתרו. לגמרי . . . .(אייר) כן, אז הראשון - קראנו זה “תיקון הטיות” - Biases - שיש לנו ב-Data המקורי - וזו הייתה השיטה הראשונהכן אפשר להבין מה החסרונות שלה - היא כן . . . . (א) היא דורשת יד-אדם, שמייצר את הדבר הזהו(ב) - היא מוגבלת גם ע”י היצירתיות של האדם וגם בעצם היא . . . . כאילו אנחנו מכניסים למודל איזה סוג מסוים של טקסטים, וזה יכול בעצם כאילו, גם . . . .שוב פעם - שאנחנו נצא מאיזון, לאיזשהו כיוון אחר, וככה נפגע במודל . . . (רן) כן, אז כאילו את המסעדות הצלתם - אבל את ברכות השחייה עוד לא, ואת המתנ”סים גם לא . . .  זאת אומרת, זה קשה . . .(אייר) לגמרי, בדיוק - זה קשה לתקל ככה את כל המצביםואז בעצם עברנו לשיטה קצת שונה, של “אוקיי, יש לנו כבר לא מעט Data - בואו נשתמש בו ונעשה בעצם פרמוטציות (Permutations) שלו, בצורה חכמה, כדי לייצר מגוון רחב יותר של דוגמאות . . . (מאיה) . . . . זאת אומרת, לדוגמא - אנחנו רואים שה-Data שלנו, שממנו התאמנו, דווקא לא מוטה על איזושהי קהילה מסוימתדווקא בקהילת המוסלמים, לצורך העניין, יש לנו מספיק דוגמאות חיוביות ושליליות שדי מייצגות את העולם האמיתיאז בואו נשתיל שם, בקהילות שונות, במשפטים שהם מדברים על קהילת המוסלמים, נשתיל קהילות אחרותוזה באמת כאילו להשתמש ב-Data שכבר אספנו וכבר תייגנו (Tagged)זה (א) חסכוני . . . (מאיה ) . . . . פחות עבודה מאשר לייצר . . .(רן) . . . . סוג של “Search and Replace”? איפה שכתוב “Muslim” הופכים ל-”Indian”, או משהו אחר, ו . . . . ?(אייר) ויש פה . . .  שוב, כל שיטה היא לא מושלמת בפני עצמה - איזושהי בעיה שלא תמיד . . . . לפעמים, החלפה כזאת -  היא פוגעת בעצם ב-Label של המשפט, או פוגעת בהקשר שלו . . . .(רן) אולי לפני זה זה היה פוגעני - ועכשיו זה לא, בגלל שהחלפת? . . . .(אייר) בדיוק, או שינה Label או איבד קשר למציאות באופן כללי . . . .ופה אנחנו נעזרנו בתיוג - אבל תיוג שהוא בעצם . . . .(מאיה) . . . בינארי . . .(אייר) בדיוק - בתיוג, ולא ב”יצירה” של אדם, אז זו משימה שהיא “יותר פשוטה”, ואפשר לזה . . .גם זה עדיין לא היה מושלם . . .23:46 הבדלים בתרבות-השיח ובעיות Cold-Start(רן) אבל יש גם עניין של תרבות-שיח ברשתות שונות - זאת אומרת, למשל ב(רשת שהייתה ידועה בשם)-Twitter, תרבות -השיח, האורך של הטקסטים וגם סוג הטקסטים, שונה לחלוטין מזה שב-Facebook ושונה לחלוטין מהרשתות האחרות.איפה זה . . . איך זה יכול יכול להילקח בחשבון?(אייר)  לגמרי . . .(מאיה) ה-Data-Set-ים שלנו - אנחנו משתדלים שהם יהיו כמה שיותר רובסטים (Robust)זאת אומרת, שהם יכללו כמה שיותר Data-אות וכמה שיותר סוגי Data-אותזאת אומרת, אנחנו לא מוציאים איזשהו Data שהוא “Open-Source-י כזה, באינטרנט הפתוח” ומשתמשים בוגם אם יש בו אלפי דוגמאות, עשרות-אלפי דוגמאות או מאות-אלפי דוגמאותואומרים “יאללה - יש לנו מודל Hate-Speech!” אנחנו עושים עבודת-איסוף מאוד נרחבת ומאוד קשה - בדיוק בגלל הדברים האלה.(רן) כן, אבל אם מגיע אליכם לקוח, חדש עם רשת יחסית קטנה - יש לכם את בעיית ה-Cold-Start, נכון? כי יכול להיות ששם, במקרה, המגבלה זה “50 אותיות, ולא יותר משתי אותיות במילה!” - כי הם כולם מדברים בקיצורים [Data מהצבא?] . . .  איך מטפלים בבעיית ה-Cold-Start הזו?(אייר) אז עם הזמן, וזה באמת משהו שאנחנו בעצם שנינו, אבל גם החברה, כבר עובדים על זה תקופהועם הזמן, המודל הבסיסי, שכולם חולקים אותו, משתפר.וזה גם משהו שאנחנו מייצגים ללקוחות - שכמה שתיהיה יותר איתנו, ככה אנחנו נדע להשתפר באופן ספציפי יותר על ה-Data, על סוג ה-Data כמו שלך.זה איזשהו שילוב.25:06 עתיות - בע’(אורי) יש לי עוד שאלה - עוד אתגר - שמאוד קשור לדבר הזה, והוא גם בעיה שבאה מעולם התוכן, וזה עתיות - בע’ -  Timeliness - של ביטויים, בסדר? דוגמאות? - אנחנו כולנו חיים בסערה הנוכחית, בסדר? אני אהיה קצת פחות פוליטיקלי-קורקט  . . . (רן) תגיד רפורמה . . . (אורי) לא, אני לא אגיד רפורמה - אבל הרפורמה הוציאה כמה ביטויים ודוגמאות מאוד טובות, ש . . . סתם, תיקחו אמירה נוראה של גלית גוטמן שהייתה, על החרדים. אז ברור לי ש . . . . סליחה פה אם אני, זה כאילו . . . . “עלוקות, מוצצי דם “ - זה תמיד יהיה Hate,  נכון? זה - אין פה . . . .אבל מילים כמו “רולקסים!” ו”טייסים!” - לא תמיד היו Hatred, ופתאום . . . . אז עכשיו מה? כל שבוע אנחנו מאמנים מודל, או? . . . .זה, אגב - שם סוגריים על הדוגמאות ואנחנו חוזרים לדיון של Machine Learning . . . .(אייר) אז זו נקודה מעניינת, ואולי אני אוסיף לזה אפילו - זאת אומרת, זה לא רק ה . . .  אני לא סגור על הביטוי “עתיות”   . . . (רן) הרגת אותם [ואת Whisper] עם העברית שלך, אורי . . . .זאת אומרת שבאמת המילים שמשתמשים בהם ברשת משתנות, וצריך להתאים את עצמךלא רק זה - אנחנו גם נלחמים פה נגד סוכנים, שיש להם מטרה - והמטרה שלהם זה שלא נתפוס אותם . . . .ולכן הם, אפילו אם הם רוצים להגיד את אותן מילים . . . .(רן) . . . מחליפים אותי!ת? . . . .(אייר) בדיוק - הם ישתמשו בצורה שונה כדי להגיד אותן, או לפרסם את עצמם או לפגוע באחרים.אז בגלל זה בעצם אתה לא יכול לנוח בתחום הזה על זרי הדפנהוכן - אנחנו חוזרים ומאמנים את המודלים שלנו באמצעות Feedbackשאנחנו גם עושים באופן אקטיבי - וגם מקבלים מהלקוחות שלנו.(מאיה) השאיפה היא באמת לעדכן את ה-Data, כל פעם להיות, כאילו, הכי מעודכנים והכי . . . (אורי) כל כמה זמן מאמנים מודל?(מאיה) זה מאוד תלוי במודל, בלקוחות שמשתמשים בו . . . .שוב, אנחנו עושים בקרה שוטפת למודלים שלנווהאימון הוא - אם יש צורך - זה נע בין שבועות לחודשיםזאת אומרת, מאוד תלוי . . . . מאוד תלוי במודל עצמו(אורי) וסתם שאלה - יש מודל פר-לקוח?(מאיה) אז יש לנו גם Customized Models, שזה באמת מודל פר-לקוחואז גם אם לקוח בא ומבקש לתפוס ברשת שלו איזשהו Violation או איזשהו משהו שאתה לא בדיוק מוכר בסל-מוצרים הבסיסי שלך - אז אנחנו מסוגלים לספק לו את זה.זאת אומרת, כבר אין לנו איזשהו סל-מוצרים כזה, שרק ממנו אנחנו יכולים למכור מודלים ללקוחות.אז כן - יש מודלים פר-לקוח - וגם יש מודלים כללייםאז אנחנו מאוד מתאימים את זה ללקוח.28:35 Data-Centric Machine Learning(רן) אז אנחנו למעשה מדברים פה הרבה מאוד על Data - אני בטוח שיש גם הרבה חוכמה וטכניקה בתוך המודלים עצמם, אבל חוט-השני פה - זרמתי עם העברית שלך [אורי - ד”ש לאבשלום] . . . . - זה ש-Data הוא חשוב לנו. זה קצת מביא אותנו לעלות למעלה ולדבר על הנושא של Data-Centric Machine Learning - שזו גישה. אז בואו קצת נדבר על זה: מה המשמעות של Data-Centric Machine Learning - מה זה אומר מבחינתכם? איך אתם רואים את זה ככה בשאר העולם?(אייר) כן, אז אני חושב שבאמת כמו שאמרת - כאילו בלי לדבר על זה, בעצם כל השיחה וגם הנושא של לג'נרט דאטה (Data Generation) בעצם תלוי בזה שאנחנו מדברים בעיקר על ה-Data ופחות על שינוי המודלים והטכניקות.רואים את זה גם בהרבה מאמרים שמתפרסמים גם בתחום שלנושהחידושים בהם זה בעצם איך שאתה משתמש ב-Data שיש לך, איך אתה יוצר Dataוקצת פחות באמת במודל עצמו(רן) אני אביא ציטוט, ככה רק כדי להראות שאני יודע אותו - אמר פעם ה-Head of AI ב-Google - “זה לא שהמודל שלי יותר טוב - פשוט יש לי יותר Data” . . . .אבל כמה שנים אחר כך הוא אמר ש”זה לא שיש לי יותר Data - יש לי Data יותר טוב” . . . . אז זה גם איזושהי אבולוציה שהתעשייה עברה.(אייר) ממש - ומה שהם גם מאפשר לנו את זה זה השיתופיות של המודליםאם לא היו משתפים מודלים מבוססי-Transformers או מודלי Object Detection . . . היום, הרבה מהמודלים הם מודלים משותפים - ואז אפשר להתחיל בבסיס טובאם כל אחד היה צריך לבנות את זה, יכול להיות שלא היה זמן להתעסק ב-Dataאבל בזכות הדבר הזה, יש לנו את היכולת ואת הזכות, כאילו, להתעסק באמת יותר ב-Data שרלוונטי אלינו להתעסק.(מאיה) אם זה, אגב, לתייג Data-אות מחדש, גם אם זה Data-אות שמגיעים כבר מתויגיםלתייג אצלנו ב-ActiveFenceעם ה-Policy שלנו, עם הדקויות שלנו כי לאו דווקא מה שאנחנו חושבים ש-Hate-Speech זה מה שאותו Data מתויג לפיוואם זה שוב - להשקיע בתהליך האיסוף, כמו שאמרתי - שזה תהליך מאוד מאוד ארוך אצלנו ויסודי.לגמרי אנחנו שם . . . .31:06 פיל ה-GPT שבחדר(רן) אוקיי, אנחנו מדברים הרבה על ג'ינרוט של דאטה (Data Generation) - ועוד לא דיברנו על הפיל שבחדר . . .  זאת אומרת, כן הזכרנו Midjourney אבל את מי לא הזכרנו? GPT!(אורי) מה זה?!(רן) אז למי ששומע את זה כמה שנים אחר כך - GPT היה  . . . .(אורי) אז תגידו - GPT היה כשקבענו את הראיון?(רן) לא בטוח  . . . .[לפני שנה? כנראה שכן, אולי לא Public - אבל בטח כבר האזין . . . ]אבל כן, זאת אומרת - אני סקרן לשמוע האם מודלים ג'נרטיביים (Generative Models) מהסוג הזה . . .  זאת אומרת, עכשיו דיברתם על יכולת יצירה של Data בצורה שהיא יחסית פשוטה, דוגמטית - יש שם גם מורכבות, אני בטוח, אבל האם אתם משתמשים במודלים ג'נרטיביים עמוקים (Deep Generative Models) שכאלה?(מאיה) אז התשובה היא “בטח”  . . . אנחנו משתמשים בכל מיני פרויקטים - עכשיו אי אפשר להתעלם מזהזאת אומרת, שזה שם, בכל מקוםלדוגמא, בפרויקט הזה של ה-Hate-Speech, של ליצור איזשהו מודל שם איזה Hate-Speech וחוסרים ב-Dataאז ChatGPT הוא ממש קלאסי בשביל זהאו כל LLMs אחרים . . . (רן) והוא מסכים? (מאיה) מה? . . . (רן) לג’נרט Hate . . . .(מאיה) אז האמת שעם ChatGPT ספציפית זה לאו דווקא מה שאנחנו משתמשים בו - אנחנו משתמשים בכל מיני סוגים של LLMsיש גם LLMs שיש מעליהם שכבת מודרציה (Moderation layer), בדיוק מה שאתה אמרתזאת אומרת, אפשר בניסיון קל להבין שהם לא יג’נרטו (Generate) לך טקסטים עם מילים כאלה ואחרותאבל כן, לדוגמא - מה שדיברנו, שזה דווקא הג'ינרוט (Generation) של הטקסטים הנייטרליים והחיוביים - זה קלאסי בשביל זה.זאת אומרת - “ תן לי 20 דוגמאות או תן לי 20 טקסטים על ההיסטוריה היהודית”, או “תכתוב לי  . . . “, כאילו, “תן לי ביקורות על אוכל סיני כזה או אחר” . . . (רן) כן, זאת אומרת - כדי לעשות De-Biasing ל-Data, לעשות איזון של ה-Data . . . (מאיה) לגמרי, לגמרי.מה שכן צריך להגיד שגם הדברים האלה עדיין דורשים איזושהי שכבת-תיוג ואיזושהי שכבת-ולידציה (Validation)לוודא מה ג’ונרט (Generated) ע”י “המכונות האלה” [הן עלולת לזהות את הביטוי הזה כ-Offensive . . . . ] ולוודא שאנחנו, כחברה, יכולים להשתמש(רן) אפשר לקחת מודל אחר שיעשה את זה, לא? . . . . זאת אומרת, חלק מהעניין של היכולת לייצר את ה-LLMs זה מה שנקרא Self-Supervision - היכולת “שלהם””לבוא ולג'נרט (Generate) לעצמם דוגמאות - וזה נתן להם בעצם יכולות לעשות Scale משמעותי, הרבה יותר ממה שמתייגים היו יכולים לעשות.(רן) אני סקרן לדעת אם גם אתם חושבים על כיוונים כאלה - ואם אתם חושבים על זה ואסור לכם לדבר על זה - זה גם בסדר [זו הייתה קריצה?] . . . . אבל כן, בכל אופן זה נושא מעניין. 33:30 האויב מאזין (ומג’נרט)(רן) אבל מה שכן רציתי לשאול זה - כמו שאתם משתמשים במודלים ג'נרטיביים (Generative Models) - ככה גם “האויב” יכול להשתמש במודלים . . . . זאת אומרת, “המשתמשים הרעים” של אותן רשתות גם יכולים לבוא ל-ChatGPT או לאחרים ולבקש מהם שיג'ינרטו להם טקסט ש . . . Whatever, לא יודע - שינוי מילים, שינוי ניסוחים - שכן יעבור את זה . . . (אייר) אז זה לגמרי מה שיש עכשיו וזה חלק מהשינויים שאנחנו כל הזמן צריכים לעקוב אחריהם, כמו שדיברנו.אז עכשיו בעצם זה כבר לא אנשים שמשנים את סוג השיח שלהם - זה בעצם אנשים שמשתמשים בזה . . . אני לא זוכר גם ציטוט או איפשהו, שעד 95% מהטקסטים ברשת - זה לא בנאדם כתב או משהו כזה . . [מופיע בשיחה הזו לדעתי - עושים טכנולוגיה 177 - הבינה המלאכותית ממלאת את העולם בזבל]אז אנחנו מתחילים לראות את זה גם בטקסט וגם בתמונהאגב - יש פה בכלל שאלות Policy לפעמים - זאת אומרת, אם הבנאדם בתמונה הוא לא בנאדם אמיתי, האם עדיין יש פה את אותה הפרה שדיברנו עליה . . . .בין אם זה Adult Sexual Content, אם זה פגיעה בילדים . . . .אז זה משהו שככה מתעסקים איתם - גם מומחי-התוכן שלנו בחברה וגם אלה שאחראים על ה-Policyוגם אנחנו מתעסקים ב-Data הזה ומנסים . . . יש איזשהו יתרון לפעמים, שה-Data הזה הוא פחות, עדיין, אולי, יצירתי מאנשים - ולכן הוא קצת יותר קל לזיהוילאו דווקא לזהות שהוא תוכן שנוצר על ידי מחשב, אלא לזהות שהוא פוגעני בצורה הזאת.(אורי) מעניין עם מה שיקרה זה שכאילו . . . תוכן יתחיל להיות מג'ונרט (Generated) כדי לעקוף את המודלים שאמורים לזהות שהוא עושה Violation - ואז, נגיד, המודלים שלכם יתחזקו ויזהו גם את זה, אז הוא ימתח עוד את הג'ינרוט (Generation) כדי לעקוף אתכם . . . . ובסוף, התוצר של התוכן יהיה תוצר לא קריא, או אתה יודע . . . סליחה, אבל זה יהיה פורנו שאתה ממש לא תרצה לראות . . . . (אייר) זה עולם שבאמת עכשיו אנחנו אולי כבר לא בצעדים הראשונים, אולי כבר לא הראשון אלא, לא יודע, קצת מתקדמים בואבל אנחנו לגמרי כל הזמן לומדים אותווזה בדיוק מה שדיברתי על זה - האם תוכן שכבר לא נראה כזה אמיתי, אבל אפשר להבין שהוא יוצר כדי לפגוע - האם הוא עדיין פוגעני, בהגדרות שלנו? האם הוא פוגע במשתמשים האחרים . . . .(אורי) לא, הוא פשוט לא קריא, או לא . . . .(אייר) לגמרי. אז שוב, לא ראיתי עדיין דוגמאות ספציפיות או התעסקות עם זה, אבל אם הוא לא קריא או לא מובן, אז אולי הוא כבר לא פוגעני? . . .  זה בעצם אולי השאלה.אבל זה לגמרי עולם שאנחנו ניתקל בו יותר ויותר . . . (אורי) אתה יודע, פילוסופית אפשר גם להיכנס לוויכוח שאולי ה-Humans  ישנו את הצריכה שלהם של תוכן, כי כל מה שהם יצרכו זה תוכן מג'ונרט (Generated) - ואז, כאילו, למה זה צריך להיות . . . .(מאיה) כמו שהמודלים הג'נרטיביים (Generative Models) ילמדו מעצמם - זה גם . . . (אורי) כן, זה אותו Drift . . . . נכון, נכון.(רן) טוב, בגדול - כל מה שהיה כבר לכתוב - כתבו, אז כל מה שנשאר לעשות זה רק לשחזר . . . .37:08 קרדיטים(רן) טוב, אנחנו ממש ככה מגיעים לקראת הסיום.אז קודם כל - היה סופר-סופר מרתק - אז תודה רבה לכם!לפני שאנחנו מסיימים - כמה מילים על החברה: איפה אתם נמצאים?(אייר) אז אנחנו יושבים בבורסה ברמת גן(רן) מגייסים? מחפשים?(אייר) כן, יש לנו משרות פתוחות באתרגם ל-R&D וגם למחלקות אחרותאני בטוח שאפשר . . .(רן) מעולה - אז שיהיה בהצלחה, ותנצחו את כל הרוע שיש שם בחוץ! בהצלחה! האזנה נעימה ותודה רבה לעופר פורר על התמלול!