Moonshot AI 發布 Kimi K3，支援原生多模態

Moonshot AI 發布 Kimi K3，支援原生多模態。 Moonshot AI 官方近日在 Kimi 官方部落格與 Hugging Face 專案頁面同步釋出 Kimi K3 的模型權重與技術報告 PDF 檔案。作為首款開放權重的 3T 等級模型（2.8 兆參數 MoE、100 萬 token 脈絡窗口），Kimi K3 在長時程程式開發、知識工作與推理表現上均達到前沿水準，並同步釋出底層堆疊的高效 attention 核心、MoE 通訊程式庫及執行大規模 Agent 環境的基礎設施。 Kimi K3 在 Coding 與 General & Visual Agents 領域展現前沿級表現，整體表現僅次於 Fable 5 與 GPT-5.6 Sol，並持續領先其他評測模型。 核心架構與效能 採用 Kimi Delta Attention（KDA）與 Attention Residuals（AttnRes）全新架構，改善跨序列長度與模型深度的資訊流動。 擴大 Mixture of Experts（MoE）稀疏度，配合 Stable LatentMoE 框架在 896 個專家模型中啟動 16 個專家。 Quantile Balancing 讓專家配置直接由 router 分數的分位數決定，Per-Head Muon 獨立優化各個注意力頭，SiTU 改善啟動控制、Gated MLA 提升注意力選擇性；這些結構性改動配合精煉的訓練與資料配方，相較於 Kimi K2 帶來約 2.5 倍的整體擴展效率提升。 另自 SFT 階段起導入量化感知訓練，採 MXFP4 權重搭配 MXFP8 啟動值。 應用與部署管道 Kimi K3 支援 Kimi.com、Kimi Work、Kimi Code 與 Kimi API。 建議在具備 64 個以上加速器的超級節點（supernode）配置上部署，以發揮高頻寬通訊優勢。 官方同時列出限制：K3 對 agent harness 是否完整回傳歷史思考內容相當敏感，缺漏時生成品質可能極不穩定；也可能過度主動、代使用者做出非預期決策；整體使用體驗仍與 Claude Fable 5 及 GPT-5.6 Sol 有明顯差距。原文：https://easyvibecoding.app/curated/2741-moonshot-ai-releases-kimi-k3-with-native-multimodal-support