@ZyphraAI：Zyphra 發布 ZAYA1-8B，具 ＜1B 活躍參數的 MoE 模型，在數學與推理任務超越多倍大小的開源模型。 Zyphra 推出 ZAYA1-8B…

Zyphra 發布 ZAYA1-8B，具 <1B 活躍參數的 MoE 模型，在數學與推理任務超越多倍大小的開源模型。 Zyphra 推出 ZAYA1-8B，這款在 AMD 硬體上端到端訓練的 MoE 模型，擁有 760M 活躍參數與 8.4B 總參數，專注最大化每參數智慧密度，在數學、程式碼與推理基準上大幅超越同級 SLM，並逼近 DeepSeek-V3.2 與 GPT-5-High 等前沿模型，尤其搭配新型 Markovian RSA 測試時計算後表現更優。 效能亮點 ZAYA1-8B 在數學與程式碼任務領先所有同級 SLM，超越 Qwen3.5-4B 與 Gemma-4-E4B，並與 DeepSeek-R1-0528、Gemini-2.5-Pro、Claude 4.5 Sonnet 等第一代前沿推理模型競爭。 在 HMMT'25 基準上，使用 Markovian RSA 達 89.6 分，超越 Claude 4.5 Sonnet 的 88.3 分與 GPT-5-High。 在 APEX-shortlist 基準，使用高計算配置（平均每題 5.5M token）超越 DeepSeek-V3.2 與 GPT OSS 120B (high)。 其他基準如 AIME、LCB（程式碼）、GPQA-Diamond（知識檢索）、IFEval 與 IFBench（指令遵循）均優於 Mistral-Small-4-119B 等多倍大小模型。 Zyphra 評估框架顯示，其在數學、推理與程式碼領域「遠超體重級」，小尺寸也適合裝置端部署與測試時計算 harness。 架構創新 ZAYA1-8B 相較標準 MoE 導入三項改變，優化效率與效能： Compressed Convolutional Attention (CCA)：在壓縮潛在空間進行序列混合，實現 8× KV-cache 壓縮。 ZAYA1 MLP-based router：搭配 PID-controller 偏差平衡，提升路由穩定性，優於線性路由器。 Learned residual scaling：以極低參數與 FLOP 成本控制殘差範數成長。 這些創新構成 Zyphra 的 MoE++ 架構，專為每參數與每 FLOP 智慧最大化設計。 預訓練策略 從預訓練伊始即強調推理，使用「answer-preserving trimming」處理長 CoT 追蹤：在短上下文下截斷推理尾端，但保留最終答案完整。 完整在 AMD Instinct™ MI300X 叢集（1,024 節點）上訓練，使用 AMD Pensando Pollara 網路與 IBMcloud 客製叢集。 MI300X 的高 HBM 容量實現長上下文訓練，減少並行需求，證明 AMD 端到端訓練能力。 此為 Zyphra 首款在 AMD 硬體全程預訓練、中訓練與監督微調的 MoE 模型，詳見先前 ZAYA1-base 技術報告。 後訓練管線 後訓練為 4-5 階段 RL 級聯，共享演算法主幹，無 KL-in-reward：async PipelineRL、DPPO Binary-TV 信任區域、Dr-GRPO 損失聚合、MaxRL 優勢。 階段順序： SFT 階段：聚焦基本聊天、指令遵循（IF）、程式碼、數學與 TTC 能力，並訓練 Markovian RSA 聚合提示與區塊化行為。 Reasoning warmup：結合數學任務、邏輯與拼圖解謎，加上 TTC 提示訓練自我聚合候選解。 RLVE-Gym 課程：動態調整拼圖難度，訓練核心推理電路。 大規模數學/程式碼/TTC RL：提升這些領域知識與推理。 輕量 RLHF/RLAIF：改善聊天行為、指令遵循與寫作風格等非可驗證獎勵。 RL 階段帶來數學、指令遵循與程式碼大幅提升，知識檢索（MMLU、GPQA）與創意寫作也有小幅進步。 Markovian RSA 測試時計算 Zyphra 首創 Markovian RSA：遞迴候選聚合，具邊界攜帶過（bounded carryover）。每輪僅傳遞各候選最後 τ token，前進上下文永遠有界，不論推理多長。 流程： 對提示並行產生多條追蹤，從中提取固定長尾段。 子抽樣候選池少數參考，建構新聚合提示作為下一輪並行回應種子。 推論利於批次並行，Markovian 區塊確保上下文視窗固定。 使用 40k token 中間 CoT 預算、最後 4K token 轉移，即逼近 DeepSeek-V3.2 與 Qwen3-A22B，距 GPT-5-High 僅數分。 Zyphra 強調模型與 harness 共同設計重要性：施加於 Qwen3-4B-Thinking-2507 時，提升遠低於 ZAYA1-8B，凸顯後訓練與 TTC 整合關鍵。 模型發布與試用 ZAYA1-8B 以 Apache 2.0 開源權重發布，可於 Zyphra Cloud 無伺服器端點免費試用。 相關資源： 部落格文章 技術報告 Hugging Face 權重 快速入門部署 先決條件：在全新 Python 3.12 環境安裝： ` pip install "vllm @ git+https://github.com/Zyphra/vllm.git@zaya1" pip install "transformers @ git+https://github.com/Zyphra/transformers.git@zaya1" ` 啟動 vLLM 伺服器： ` vllm serve Zyphra/ZAYA1-8B --port 8010 \ --mamba-cache-dtype float32 --dtype bfloat16 \ --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser zaya_xml ` 查詢範例（curl）： ` curl http://localhost:8010/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "Zyphra/ZAYA1-8B", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Hello. How is it going?"} ] }' ` 公司願景與影響 Zyphra 為舊金山開源超智慧研究與產品公司，致力打造人類對齊 AI，助個人與組織發揮最大潛能。ZAYA1-8B 證明全棧創新（架構、預訓練、RL 與 TTC）潛力，公司將擴大模型規模與領域多樣性，並徵才 加入團隊。此發布不僅展現 AMD 硬體實力，也挑戰參數效率極限，預示小模型在推理任務崛起趨勢。 原文：https://easyvibecoding.app/curated/1186