Skip to content
286 (No) Cloud infrastructures Data infra, with Alon Elishkov episode artwork

Jan 9, 2016 36 min

286 (No) Cloud infrastructures Data infra, with Alon Elishkov

from רברס עם פלטפורמה

אנחנו בפרק 286, פרק נוסף בסדרת ספקי שירותי הענן שלנו. במהלך הסדרה סקרנו שירותי ענן שונים, החל מחברות כמו אמזון, גוגל ומיקרוסופט, וגם חברות שעושות את זה עם שירותי ענן משלהן. היום אנחנו נצלול יותר לנושא הזה של NoCloud. נמצא איתנו באולפן אלון אלישקוב מ-Outbrain. אלון הוא ראש צוות תשתיות Data, ולפני כן עבד ב-LivePerson בקבוצה שבנתה את ה-Experts Platform. אנחנו רוצים להזכיר את קבוצת הפייסבוק שלנו, הבלוג, הטוויטר וה-RSS. ולמי שיעלה נושאי דאטה מעניינים לדיון בקבוצה, מובטח ספל רברסים מהודר ישירות הביתה. נקודות שעלו בתוכנית: הדאטה הוא הבסיס לכל הפעילות העסקית. החל מניתוח איך עמודים נראים ברשת, מה מעניין בהם, וממשיך לאיך משתמשים מתנהגים ומגיבים להמלצות שלנו. (2:50) סוגים נפוצים של נתונים שאנחנו מנתחים הם קליקים, חשיפות, התנהגויות להמלצה, מי המשתמש והמאפיינים שלו. יש לנו 600 מיליון משתמשים וזה גם משמעותי. (4:10) אנחנו מתמודדים עם מיליארדי אירועים ביום ומעבירים (7TB (Zipped ביום. מערכות הניטור של השרתים עצמן מייצרות 5 מיליון מטריקות בדקה. (5:47) חלק מהארכיטקטורה הוא להתמודד עם דרישות QoS שונות. יש לנו מערכות קריטיות שבהן המידע זמין תוך פחות מדקה, ובחלק מהמערכות הוא יכול להיות זמין גם שעה אחרי. (8:47) יש מאות סוגים של שירותים שמשתמשים ב-Alethia שהיא ספריה שפיתחנו. הספריה לוקחת יחידות מידע ועוטפת אותם במידע תפעולי שמסייע לנו לנהל את הדאטה. כלים נוספים: Kafka ו- Hadoop, איתם אנחנו מייצרים Breadcrumbs שמאפשרים לנו לייצר התראות למי שצריך. (10:43) Kafka משמשת אותנו להעברת מידע ממקום למקום, הכלי המקביל של אמזון הוא Kinesis. כלי נוסף הוא Storm שמאפשר לך לבצע חישובים מבוזרים. לפעולות אנליטיות משתמשים ב-Vertica שמציע יכולות ניתוח סופר מהירות. (17:42) כל החשיבה והתכנון סובב סביב Scale. דוגמא טובה היא הדאטה על ניטור המערכות שבשלב מסוים דורש בניית מערכות חדשות בגלל הגודל. הלקוחות שלנו הם גם הצד העסקי וגם המפתחים. (23:30) אנחנו בוחנים כל הזמן (אבל לא מספיק) יכולות שיש לספקי שירותי ענן ציבוריים, ומקבלים השראה כדי במידת הצורך לשלב את היכולות הללו גם אצלנו. אפשר לבחון מערכת או פיצ'ר חדשים באמצעות ענן ציבורי, ואז ללמוד איך ליישם אותם לתשתית הפרטית שלך. (27:42) אנחנו כמובן גם מגייסים לצוות שלנו כל הזמן, אם אתם רוצים אתגרים מעניינים בתחום אז פשוט תבואו. את הקובץ ב-MP3 אפשר להוריד בקליק ימני מכאן, ותודה לרועי שלומי על התקציר של הפרק ולגיא מנחם על העריכה הקולית. ותודה ל-Outbrain על החסות והתמיכה הכספית.

Episode details come from the podcast's RSS feed.

Embed this episode

Ready to play

286 (No) Cloud infrastructures Data infra, with Alon Elishkov

0:00 36:29

No transcript yet.

Requests help us decide what to transcribe next.

Frequently asked questions

How long is this episode of רברס עם פלטפורמה?

This episode is 36 minutes long.

When was this רברס עם פלטפורמה episode published?

This episode was published on January 9, 2016.

Can I download this רברס עם פלטפורמה episode?

Yes. Use the download control on the episode player to save the publisher-provided media file.