286 (No) Cloud infrastructures Data infra, with Alon Elishkov

אנחנו בפרק 286, פרק נוסף בסדרת ספקי שירותי הענן שלנו. במהלך הסדרה סקרנו שירותי ענן שונים, החל מחברות כמו אמזון, גוגל ומיקרוסופט, וגם חברות שעושות את זה עם שירותי ענן משלהן. היום אנחנו נצלול יותר לנושא הזה של NoCloud. נמצא איתנו באולפן אלון אלישקוב מ-Outbrain. אלון הוא ראש צוות תשתיות Data, ולפני כן עבד ב-LivePerson בקבוצה שבנתה את ה-Experts Platform. אנחנו רוצים להזכיר את קבוצת הפייסבוק שלנו, הבלוג, הטוויטר וה-RSS. ולמי שיעלה נושאי דאטה מעניינים לדיון בקבוצה, מובטח ספל רברסים מהודר ישירות הביתה. נקודות שעלו בתוכנית: הדאטה הוא הבסיס לכל הפעילות העסקית. החל מניתוח איך עמודים נראים ברשת, מה מעניין בהם, וממשיך לאיך משתמשים מתנהגים ומגיבים להמלצות שלנו. (2:50) סוגים נפוצים של נתונים שאנחנו מנתחים הם קליקים, חשיפות, התנהגויות להמלצה, מי המשתמש והמאפיינים שלו. יש לנו 600 מיליון משתמשים וזה גם משמעותי. (4:10) אנחנו מתמודדים עם מיליארדי אירועים ביום ומעבירים (7TB (Zipped ביום. מערכות הניטור של השרתים עצמן מייצרות 5 מיליון מטריקות בדקה. (5:47) חלק מהארכיטקטורה הוא להתמודד עם דרישות QoS שונות. יש לנו מערכות קריטיות שבהן המידע זמין תוך פחות מדקה, ובחלק מהמערכות הוא יכול להיות זמין גם שעה אחרי. (8:47) יש מאות סוגים של שירותים שמשתמשים ב-Alethia שהיא ספריה שפיתחנו. הספריה לוקחת יחידות מידע ועוטפת אותם במידע תפעולי שמסייע לנו לנהל את הדאטה. כלים נוספים: Kafka ו- Hadoop,  איתם אנחנו מייצרים Breadcrumbs שמאפשרים לנו לייצר התראות למי שצריך. (10:43) Kafka משמשת אותנו להעברת מידע ממקום למקום, הכלי המקביל של אמזון הוא Kinesis. כלי נוסף הוא Storm שמאפשר לך לבצע חישובים מבוזרים. לפעולות אנליטיות משתמשים ב-Vertica שמציע יכולות ניתוח סופר מהירות. (17:42) כל החשיבה והתכנון סובב סביב Scale. דוגמא טובה היא הדאטה על ניטור המערכות שבשלב מסוים דורש בניית מערכות חדשות בגלל הגודל. הלקוחות שלנו הם גם הצד העסקי וגם המפתחים. (23:30) אנחנו בוחנים כל הזמן (אבל לא מספיק) יכולות שיש לספקי שירותי ענן ציבוריים, ומקבלים השראה כדי במידת הצורך לשלב את היכולות הללו גם אצלנו. אפשר לבחון מערכת או פיצ'ר חדשים באמצעות ענן ציבורי, ואז ללמוד איך ליישם אותם לתשתית הפרטית שלך. (27:42) אנחנו כמובן גם מגייסים לצוות שלנו כל הזמן, אם אתם רוצים אתגרים מעניינים בתחום אז פשוט תבואו. את הקובץ ב-MP3 אפשר להוריד בקליק ימני מכאן, ותודה לרועי שלומי על התקציר של הפרק ולגיא מנחם על העריכה הקולית. ותודה ל-Outbrain על החסות והתמיכה הכספית.