EP12 I 用 Arm KleidiAI 快速部署 LLM 到裝置：效能優化分享

本集節目再次邀請 Arm 的 Principal Solutions Architect，深入淺出地帶大家了解開發者如何在 Arm 架構上部署大型語言模型（LLM）。 舉例來說，若想將 LLM 中的 Vision Transformer 模型部署到手機等終端裝置，開發者需考慮：模型格式是否相容、輸入資料的格式與長度、目標部署的硬體架構（如 CPU 配置）等。由於不同模型之間存在原生差異，往往需要根據模型特性進行調整與最佳化，導致開發流程複雜且難以重複使用。 為了協助開發者解決這項挑戰，Arm 推出了 KleidiAI ，這是專為 Arm 架構優化的開源軟體庫。KleidiAI 將常見的模型轉換、部署與推論過程進行優化，協助開發者快速導入各類模型，並在 Arm CPU 上實現最佳化效能。 如果您想了解更多 KleidiAI 的使用方式，以及如何將 LLM 模型部署到邊緣裝置上，除了收聽本集節目，也歡迎造訪我們最新推出的 Arm Learning Path 系列教學模組，從實作出發帶您了解開發流程中的關鍵步驟。 Arm Learning Paths: https://learn.arm.com/ -- Hosting provided by SoundOn