Unsloth AI 發布 Qwen3.6 系列模型的全新 NVFP4 量化版本，透過優化大幅提升 GPU 推論速度並改善 Agent 應用表現

Unsloth AI 發布 Qwen3.6 系列模型的全新 NVFP4 量化版本，透過優化大幅提升 GPU 推論速度並改善 Agent 應用表現。 Unsloth 推出的全新動態 NVFP4 量化版 Qwen3.6 模型，在單張 B200 GPU 上運行速度比 NVIDIA 原生 NVFP4 快達 2.5 倍，且在 MMLU-Pro、AIME 2025 與 GPQA 等基準測試中保持相當或更優異的準確度。 核心更新與效能 Unsloth AI 此次釋出的 Qwen3.6 NVFP4 量化版本，針對 NVIDIA Blackwell 架構 GPU（如 B200）進行了深度優化，實現了顯著的效能提升： 推論加速：Qwen3.6-27B NVFP4 版本在 24GB VRAM 環境下，執行速度較其他同類量化版本提升約 2.5 倍；35B-A3B 版本則在 32GB VRAM 下提升約 1.7 倍。 Agent 與工具呼叫：針對 Agentic 程式開發與工具呼叫進行了精確度校準，改善了巢狀物件的解析能力，並減少了執行過程中的重複迴圈問題。 MTP 整合：支援多 token 預測（MTP）技術，在不犧牲準確度的前提下，能進一步帶來 1.4 至 2.2 倍的生成速度提升。 使用與部署指引 Unsloth AI 同步更新了「Unsloth Studio」與 llama.cpp 的支援，讓使用者能更靈活地部署模型： 安裝 Unsloth Studio： - macOS/Linux/WSL 使用者：curl -fsSL https://unsloth.ai/install.sh | sh - Windows PowerShell 使用者：irm https://unsloth.ai/install.ps1 | iex 啟動服務：執行 unsloth studio -H 0.0.0.0 -p 8888 後，即可透過瀏覽器存取 http://127.0.0.1:8888 進行模型搜尋、下載與推論參數調整。 進階部署：針對生產環境，使用者可透過 llama-server 部署模型，並利用 OpenAI 相容介面進行呼叫： `python from openai import OpenAI openaiclient = OpenAI(baseurl="http://127.0.0.1:8001/v1", api_key="sk-no-key-required") completion = openai_client.chat.completions.create( model="unsloth/Qwen3.6-35B-A3B", messages=[{"role": "user", "content": "Create a Snake game."}], ) ` 技術背景 Qwen3.6 是阿里巴巴推出的多模態混合推理模型系列，支援 256K context window 與 201 種語言。Unsloth AI 透過自家的 Dynamic 2.0 量化技術，針對真實使用場景進行校準，確保模型在維持高準確度的同時，能以更低的記憶體需求在本地端運行。詳細的量化模型清單與各項基準測試數據，可參考 Unsloth NVFP4 Hugging Face 收藏集。原文：https://easyvibecoding.app/curated/2434-unsloth-ai-launches-nvfp4-quantized-qwen-3-6