Unsloth AI 釋出 DeepSeek-V4-Flash 的 GGUF 量化版，可用 llama.cpp 在本地執行

Unsloth AI 釋出 DeepSeek-V4-Flash 的 GGUF 量化版，可用 llama.cpp 在本地執行。 Unsloth 推出可在本地執行的 DeepSeek-V4-Flash GGUF 量化版本，其中 UD-Q8KXL 實現了無損推理，且相較於 Q4 僅多出 7GB 磁碟空間，提供極佳的品質與大小權衡。 本地執行與效能優化 Unsloth AI 針對 DeepSeek-V4 在地端執行做了關鍵修復與優化，解決了先前在 llama.cpp 中出現的多輪對話亂碼問題。 透過修復 llama.cpp 的 PR #25402，解決了因錯誤的 prompt 快取導致的對話異常。 提供了無損（lossless）的 UD-Q8KXL 量化版本（162GB），以及適合 110GB 記憶體裝置的 3-bit 量化版本。 針對 DeepSeek-V4 的 Jinja chat template 做了改進，確保其與官方基準測試結果一致，並完整保留了 reasoning_content 以支援 tool calls。 操作與部署指引 使用者可透過 Unsloth Studio 圖形化操作，或用 llama.cpp 部署。 若使用 Unsloth Studio，可透過終端機安裝： `bash MacOS, Linux, WSL curl -fsSL https://unsloth.ai/install.sh | sh Windows PowerShell irm https://unsloth.ai/install.ps1 | iex ` 啟動服務：unsloth studio -H 0.0.0.0 -p 8888。 若使用 llama.cpp，需確保切換至修復分支： `bash git clone https://github.com/ggml-org/llama.cpp cd llama.cpp git fetch origin pull/25402/head:deepseek-v4-checkpointing-fix git checkout deepseek-v4-checkpointing-fix ` 技術背景 DeepSeek-V4 系列包含 1.6T 參數的 Pro 版本與 284B 參數的 Flash 版本，兩者皆支援 1M token context window。Unsloth AI 強調其量化技術透過保留原始 MXFP4 格式的專家層（routed experts），實現了與官方權重幾乎完全一致的推論品質，在 UD-Q8KXL 版本中達到了 bit-identical 的無損水準。官方建議在執行時設定 temperature=1.0 與 top-p=1.0 以獲得最佳效能。原文：https://easyvibecoding.app/curated/2383-unsloth-ai-releases-deepseek-v4-flash-gguf-for-llama-cpp