@googlegemma：Gemma 4 透過多 token 預測推手實現最高 3 倍加速，直接在手機上運行。 Google 推出 Gemma 4 系列的多 token 預測（MT…

Gemma 4 透過多 token 預測推手實現最高 3 倍加速，直接在手機上運行。 Google 推出 Gemma 4 系列的多 token 預測（MTP）推手，利用推測解碼架構，在不損害輸出品質或推理邏輯下，提供最高 3 倍推理加速。Gemma 4 僅推出數週即累積超過 6000 萬次下載，展現前所未有的每參數智慧效能，如今進一步提升效率，適用於開發者工作站、行動裝置與雲端。 推測解碼原理 標準大型語言模型（LLM）推理受記憶體頻寬限制，處理器花費大部分時間將數十億參數從 VRAM 移至運算單元，只為產生單一 token，導致運算資源閒置與高延遲，尤其在消費級硬體上更明顯。推測解碼將 token 產生與驗證分離，搭配大型目標模型（如 Gemma 4 31B）與輕量推手（MTP 模型），利用閒置運算在目標模型產生單 token 的時間內，預測多個未來 token，目標模型再平行驗證所有建議 token。 標準自迴歸生成每次僅產生一個 token，對明顯延續（如「Actions speak louder than…」後預測「words」）與複雜邏輯謎題投入相同運算。MTP 透過推測解碼緩解此低效，源自 Google 研究者論文 Fast Inference from Transformers via Speculative Decoding（原文未直接連結，但技術源頭）。若目標模型同意草稿，即在單次前向傳遞接受整個序列，並額外產生一個 token，讓應用在通常單 token 時間內輸出完整序列加一 token。 效能提升應用 開發者將 Gemma 4 模型搭配對應推手，可實現： 改善回應性：大幅降低延遲，適用於近即時聊天、沉浸式語音應用與 Agentic 工作流程。 加速本地開發：在個人電腦與消費級 GPU 上高速運行 26B MoE 與 31B Dense 模型，支持無縫離線程式撰寫與 Agentic 工作流程。 強化裝置端效能：最大化 E2B 與 E4B 邊緣模型效用，加速輸出生成並節省電池續航。 零品質損失：Gemma 4 主模型保留最終驗證，確保相同頂尖推理與準確度，僅加速交付。 架構優化細節 MTP 推手為達極速與精準，引入多項架構強化：推手模型無縫利用目標模型的啟用值並共享其 KV cache，避免重算大型模型已處理的脈絡。對 E2B 與 E4B 邊緣模型，最終 logit 計算成瓶頸，故在 embedder 實作高效叢集技術加速生成。 硬體特定優化包括：26B 混合專家（MoE）模型在 Apple Silicon 上批次大小 1 時路由挑戰大，但同時處理多請求（批次大小 4 至 8）可解鎖本地最高 ~2.2 倍加速；Nvidia A100 增加批次大小亦見類似增益。Google 發布深入技術解說，剖析視覺架構、KV cache 共享與高效 embedder（詳細文件見 官方部落格）。 起步指南 MTP 推手與 Gemma 4 同採 Apache 2.0 開源授權，即日可用。閱讀文件學習如何搭配 Gemma 4 使用，可從 Hugging Face、Kaggle 下載模型權重，立即以 transformers、MLX、VLLM、SGLang 或 Ollama 實驗加速推理，或直接在 Google AI Edge Gallery 上 Android 或 iOS 試用。 此加速將推動 Gemmaverse 中更多創新建置，從邊緣裝置到工作站解鎖更快人工智慧。原文：https://easyvibecoding.app/curated/1211