EP23 I 重新定義邊緣 AI：Arm 與 MSI EdgeXpert 讓資料中心級 LLM 走出雲端

在本集《Innovation on Arm》中，我們邀請到 MSI 專家 Rick 與 Arm 解決方案架構師 Odin 深入探討 EdgeXpert 如何在 Arm 架構上，將原本只能在資料中心運行的大型語言模型帶到邊緣端。 透過 20 核心 Arm CPU、128GB Unified Memory 以及完整的軟體堆疊，EdgeXpert 能夠在本地端高效運行 120B 級開源 LLM 與醫療專用模型，如 MedGemma 27B，同時兼顧效能、功耗與資料隱私。 我們將從 AI 開發者視角 出發，探討高容量記憶體如何大幅簡化模型開發與部署流程，並分享 EdgeXpert 在 智慧醫療、企業私有 AI、智慧製造與機器人應用 中的實際案例。 此外，也將介紹 Arm 軟體生態系與學習資源，如何協助開發者在邊緣與雲端之間無縫遷移工作負載，打造兼具效能與安全性的邊緣 AI 解決方案。歡迎收聽! -- Hosting provided by SoundOn