Kimi.ai 發布 Kimi K3 模型，透過 Kimi Delta Attention 與 Attention Residuals 架構提升長文本與 Agentic 程式開發效能

Kimi.ai 發布 Kimi K3 模型，透過 Kimi Delta Attention 與 Attention Residuals 架構提升長文本與 Agentic 程式開發效能。 核心技術與架構更新 Kimi K3 預計成為首款開放權重的 3T 等級模型，擁有 2.8 兆參數與 100 萬 token 的 context window。其技術亮點在於： Kimi Delta Attention (KDA)：優化長文本序列的資訊流動，使百萬 token 環境下的解碼速度提升達 6.3 倍。 Attention Residuals (AttnRes)：透過選擇性檢索模型深層表徵，在增加不到 2% 成本的情況下，提升約 25% 的訓練效率。 MoE 稀疏化架構：結合 Stable LatentMoE，在 896 個專家模型中啟用 16 個專家，整體擴展效率較 Kimi K2 提升約 2.5 倍。 此圖展示了 Kimi K3 模型架構的技術細節，包含 Stable LatentMoE 與 Kimi Delta Attention 模組的設計，以及 Block Attention Residuals 的運作方式。 圖表顯示 Moonshot AI 最新發佈的 Kimi K3 以 2.8T 的參數規模，顯著超越 DeepSeek (1.6T) 與 Xiaomi (1.02T) 等競爭對手，若完整權重依計畫釋出，將成為目前參數規模最大的開放權重前沿模型。 Agentic 程式開發與實作能力 Kimi K3 強調能在極少人工監督下執行長週期任務，並具備強大的視覺推理能力，能透過「vision in the loop」機制，即時觀察螢幕輸出並迭代程式碼。 GPU 核心優化：在測試中，K3 設計了一套兩階段核心演算法，將 AttnRes 的前向與反向傳播時間從 283.6 ms 縮短至 114.4 ms。 編譯器開發：K3 成功從零建構了「MiniTriton」編譯器，在特定 roofline 基準測試中表現優於 Triton 與 torch.compile。 晶片設計：在 48 小時的自主運作中，利用開源 EDA 工具與 Nangate 45nm 函式庫完成了晶片的設計、優化與驗證。 Kimi K3 在多項程式設計基準測試中展現出頂尖實力，其中在 Program Bench 與 SWE Marathon 取得領先，並在其他測試中名列前茅。 Kimi K3 在多項 General Agents 與 Visual Agents 基準測試中展現出頂尖的 Agent 能力，並在 SpreadsheetBench 2、Automation Bench 與 BrowseComp 等項目中取得領先。 一名騎馬者在遊戲場景中穿梭，畫面顯示了動態的天氣變化與遊戲操作介面。 應用與生態系整合 Kimi K3 現已於 Kimi.com、Kimi Work、Kimi Code 及 Kimi API 上線。 Kimi Work：新增「Widgets」與「Dashboard」功能，讓使用者能將互動元件嵌入聊天視窗，並建立個人化的專案追蹤儀表板。 API 價格：快取命中輸入為 $0.30/MTok，未命中輸入為 $3.00/MTok，輸出為 $15.00/MTok。 開放時程：官方預計於 2026 年 7 月 27 日前釋出完整模型權重。 社群與效能評價 根據官方內部基準測試，Kimi K3 在 Online Exp Bench、DECK-Bench 與 Finance-Bench 的表現均超越 Claude Opus 4.8 與 GPT-5.5。儘管目前整體效能仍略遜於 Claude Fable 5 與 GPT-5.6 Sol，但其預計開放權重的規模與效率已引起開發者社群高度關注，甚至被視為潛在的「DeepSeek 時刻」。目前 OpenCode Go 使用者已可立即存取該模型，但因尚未達成折扣協議，使用時會消耗較高的額度。 Kimi K3 在 Online Exp Bench、DECK-Bench 及 Finance-Bench 三項內部基準測試中，表現均優於 GPT 5.5 與 Claude Opus 4.8。 在 AttnRes 核心優化任務中，Kimi-K3 經過約 15 小時的自主演化達到了 +59.7% 的加速，略高於 Claude Fable-5 的 +57.1%（官方稱兩者表現相當、K3 每次迭代進步較快），並明顯領先 GPT-5.5 與 GPT-5.6 Sol。一名騎馬者在遊戲場景中穿梭，畫面顯示了動態的天氣變化與遊戲操作介面。 影片中的 Prompt 與操作：操作步驟： 1. （00:00）騎馬者在森林小屋前移動 2. （00:07）天氣轉為下雨，騎馬者向池塘方向移動原文：https://easyvibecoding.app/curated/2562-kimi-ai-launches-kimi-k3-model