Google 發布 Gemma 4 整合 Flash Attention 4 提升推論速度

Google 發布 Gemma 4 整合 Flash Attention 4 提升推論速度。 效能與架構升級 本次更新主要針對硬體加速與執行效率進行優化，特別是針對 NVIDIA Hopper 架構 GPU 的支援： 啟用「Flash Attention 4 (FA4)」支援：預填（prefill）吞吐量提升 25% 至 70%，首個 token 生成時間（TTFT）縮短幅度最高達 31%。 互動體驗優化：改進了 Chat Template 的格式化表現，並修復了 Tool Calling 的執行問題，確保模型在呼叫工具時能維持更高的準確度與一致性。 Gemma 4 31B 在代理推理與工具調用基準測試中展現出顯著的淨提升，其中在 Tau2(Telecom) 上的進步幅度最大，達到了 +10.10%。 視覺處理與模型行為調整 針對視覺模型的使用，Google 提供了更靈活的 token 預算配置選項，以平衡效率與細節捕捉需求： 視覺解析度調整：預設的視覺 bucket 設定為 280 以維持 token 效率。若使用者需要處理高解析度影像（如精確的 OCR 或 2.51MP 解析度），可手動將 maxsofttokens 參數調整至 1120。 減少模型「偷懶」：針對模型在回答時過於簡短或刻意保留資訊的邊緣案例進行了大幅修正，確保輸出的完整性。 視覺工具：使用者可透過 Gemma 4 Vision Token Budget 的互動式 Space 頁面，視覺化觀察不同 Nmax 設定下，影像調整大小與 token 消耗的對應關係。 Gemma 4 E4B 在各項代理推理與工具調用基準測試中均展現出淨提升，其中在 Tau2(Airline) 基準測試上的進步最為顯著，提升了 8.00%。 資源與取得方式 此次更新涵蓋了 Gemma 4 系列的多款模型，包括 31B、26B、12B 以及輕量化的 E4B 與 E2B 版本。開發者可透過 Hugging Face Gemma 4 集合頁面 下載最新的模型權重與更新內容。 原文：https://easyvibecoding.app/curated/2535-google-gemma-4-adds-flash-attention-4