270 Cloud Vendor Series - Big Data and Analytics with AWS

פרק נוסף בסדרה על ספקי ענן (Cloud Vendors)  הסוקרת את פלטפורמות הענן הקיימות היום והיתרונות שלהן למפתחים. כרגיל בתוכנית המשתתפים הקבועים, נתי שלום ואורי להב. שוב נזכיר את קבוצת הפייסבוק החדשה שלנו, שבה יש מאות מפתחים ודיונים מעניינים. המבצע: "לדיון תרמת - כוס קפה קיבלת!" נמשך במלוא המרץ. הערות טובות ומחכימות יזכו את כותביהן בכוס קפה עם הלוגו של רברסים. בנוסף אנחנו זמינים גם בטוויטר, בבלוג וב-RSS. האורח שלנו היום, גיא ארנסט, נציג AWS בישראל, שישוחח איתנו על ביג דאטה אנליטיקס בסביבת AWS. ארנסט הוא ארכיטקט פתרונות באמזון, ובעבר מפתח בתחום של מובייל, ביג דאטה ועוד. נקודות שעלו בתוכנית: שני השירותים העיקריים של אמזון בתחום הביג דאטה - EMR ו-RedShift. כאשר כמובן יש שירותים נוספים שמסייעים להעביר מידע לשירותים הללו. (4:04) חברת Onavo כדוגמה, שירות שימושי שקפץ מדרגה כאשר הם התחילו לעשות ביג דאטה אנליטיקס. (7:15) גוגל עצמה באופן פנימי כבר לא משתמשת ב-Hadoop לצורך אנליטיקס. הגישה לביג דאטה אנליטיקס צריכה להיות של Real Time ולא צריכה להיות ב-Batch מתוך אילוץ. (10:54) ישנה עליה למשל בשימוש ב-Spark, דוגמה לטכנולוגיה שרצה מעל Hadoop הקלאסי. כמו תמיד המעבר לטכנולוגיה חדשה לוקח זמן ומשאבים, למרות שהטכנולוגיות החדשות הופכות לפשוטות יותר. (12:27) סיכום: EMR יכולת להריץ Hadoop בצורה מאוד נוחה, ואפשר להריץ עליו גם כלים נוספים. RedShift ממומש אחרת, מבוסס אחרת ותומך בפרוטוקול של Postgres, מהירות של Near Real Time. וכמובן מערכת האחסון S3, ו-DynamoDB שהוא Database as a Service. (ב 17:55) שירותים כמו Data Pipeline ו-Simple Workflow מאפשרים להעביר נתונים משירות לשירות, וליצור תהליכי עבודה אוטומטיים. (24:20) Amazon Kinesis מאפשר צפייה בנתונים בזמן אמת, כמו למשל לוח מחוונים (Dashboard), או זיהוי הונאות  (Fraud Detection). (ב 34:14) צריך להבחין בין On Demand לבין Streaming של נתונים, ואפשר לעשות את ב-Time Series Database או באמצעות Event Driven. (ב 40:38) Machine Learning זה סוג של טסט שכותב את הקוד בעצמו. צריך לזכור שהמודל אף פעם לא מושלם, אבל זה יותר טוב מקוד ידני.הכלי שלנו היום Amazon ML מאפשר לעשות את זה בקלות. (47:18) Amazon Mechanical Turk שנותן לאנשים לנתח את הנתונים, ואז מעביר את זה ל-ML כדי שיעשה את זה בזמן אמת. (52:44) השירותים של AWS כמו למשל ML עובדים פנימית ועובדים טוב, ואם זה שימושי אנחנו משיקים את זה ללקוחות שלנו. למשל ב-RedShift השקענו 100 מיליון דולר. (53:42) חלק גדול מאמזון רץ על AWS, עדיין לא 100% והמטרה היא להגיע לשם. (57:00) עוד כמה קישורים מעניינים: השוואה בין פלטפורמות הדטהבייס של גוגל ו-AWS בלוג הביג דאטה של AWS שכולל המון פוסטים מעניינים ודוגמאות שימושיות (אינדקסים, Streaming, ML) בנו לעצמכם מערכת ניתוח סושיאל מדיה עם ML. וכמה עדכונים מאז השיחה שלנו עם גיא: בנוסף על הצד הטכנולוגי, בסוף יולי אמזון הודיעה על הכנסות של 1.8 מיליארד דולר משירותי AWS, עליה של 81% לעומת השנה שעברה. בהחלט נתון מרשים לעסק שהוגדר בהתחלה "הסחת דעת" על ידי אנליסטים. אמזון השיקה גם שירות חדש, Device Farm, מאפשר למפתחים לבחון אפליקציות על מכשירים אמיתיים בסביבת אנדרואיד, אפל ו-Fire. השירות מעניק 250 דקות בחינה בחינם. הקובץ נמצא כאן ותודה לרועי שלומי על התקציר של הפרק.