איך באמת מריצים LLM בסקייל עצום? [עושים תוכנה]

What this episode covers

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ?אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache, batching, ההבדל בין prefill ל-decode, חלוקה של מודל בין GPUs שונים, ו-Mixture of Experts. דיברנו גם על למה זה הפך לאחד התחומים הכי קריטיים בעולם ה-AI - וגם איך נכנסים אליו אם אתם מהנדסים שרוצים להתחיל להריץ מודלים בעצמכם.האזנה נעימה, עמית בן דור.

Share this episode

Similar Episodes

כאישה נכה מחוכים עזרו לי להתאהב בעצמי | #179

Jul 1, 2026 ·40m

החטיף המטפטף (עם טס השילוני) | הפעם הגזמתם, פרק 115

Jun 25, 2026 ·63m

לינוי בן משה סימו מתגעגעת לרכילות של פעם

Jun 25, 2026 ·46m

269 - האפיפיור מחרבן בכובע (פרק חלקי)

Jun 25, 2026 ·48m

אלכוהול סמים ופורנו של יונים

Jun 24, 2026 ·38m

הצד הכואב והלא מדובר של הלכות טהרת המשפחה | #178

Jun 24, 2026 ·54m

Similar Podcasts

דיסני-פורמציה זיו הרמלין-שד"ר הסכת על דיסני, פיקסאר וסרטים מצוירים.זיו הוא תסריטאי שלא ראה מעולם את סרטי דיסני. כעת לראשונה הוא יוצא למסע בו הוא רואה את כל הסרטים שדיסני הוציאו לקולנוע, ואז משוחח עליהם עם חברים ומבקרי קולנוע.לאורך השנים ההסכת סיקר את כל סרטי דיסני, וכעת עבר לסקר את כל סרטי פיקסאר, וגם סרטי לייב אקשן של דיסני וקלאסיקות אנימציה של אולפנים נוספים. Explicit טל ותומר קל וחומר תומר פישמן וטל טירנגל טל טירנגל ותומר פישמן מביאים לכם פודקאסט שהוא כל כך טל ותומר שהוא כבר קל וחומר. זהו הפודקאסט הרשמי של הטל והתומר יחדיו. טל ותומר קל וחומר Explicit זו דעתי על כל פנים Michal Zoran & Omer Benjakob עומר בן יעקב ומיכל צורן מביעים עמדות לגבי דבריםכן, אנחנו זוגpatreon.com/imoface - כל הפרקים המלאים שלנו זמינים בפטריאוןshorturl.at/zNOPY - ובספוטיפיי@zo_daati אינסטגרם@ZoDaati טוויטר Explicit סקס אפיל לורי שטטמאור | Be.po סקס הוא משהו שכולנו עושים, אחרת לא היינו כאן. האם הסקס שלי נורמלי, ומה זה בכלל נורמלי? איך מחזירים את התשוקה למערכת היחסים? האם כל אישה יכולה להגיע לשפיכה נשית? ואיך מייצרים מיניות טובה, בריאה ונלהבת? בכל פרק נעסוק במיניות ובסקס שלנו מזווית חדשה ומסקרנת. פודקאסט שבועי בהנחיית לורי שטטמאור, עורכת ynet יחסים Explicit

Frequently Asked Questions

How long is this episode of כל תכני עושים היסטוריה?

This episode is 41 minutes long.

When was this כל תכני עושים היסטוריה episode published?

This episode was published on May 18, 2026.

What is this episode about?

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ?אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache,...

Can I download this כל תכני עושים היסטוריה episode?

Yes, you can download this episode by clicking the download button on the episode player, or subscribe to the podcast in your preferred podcast app for automatic downloads.