Thinking Machines 發布 Inkling 開放權重模型供微調

Thinking Machines 發布 Inkling 開放權重模型供微調。 模型核心規格 Inkling 是一款基於 Mixture-of-Experts (MoE) 架構的 Transformer 模型，具備以下關鍵技術指標： 參數規模：總參數量為 975B，活躍參數為 41B。 訓練資料：使用 45 兆 token 的多模態資料進行預訓練，涵蓋文字、影像、音訊與影片。 上下文視窗：支援高達 1M token 的長文本處理。 架構細節：採用類似 DeepSeek-V3 的 MoE 設計，每層包含 256 個路由專家（routed experts）與 2 個共享專家，每個 token 啟用 6 個路由專家，並使用基於 Sigmoid 的路由機制與無輔助損失（auxiliary-loss-free）的負載平衡偏置。 訓練策略：採用混合優化策略，針對大型矩陣權重使用 Muon 優化器，其餘參數則使用 Adam。 多模態與效能表現 Inkling 強調在多模態領域的廣泛適應性，特別是在音訊處理方面表現優異，於 VoiceBench、MMAU 及 AudioMC 等評測中名列開放權重模型前茅。該模型設計重點在於「持續思考」（continuous thinking）能力，讓使用者能根據實際應用場景在成本與效能曲線中進行權衡，以更少的 token 達成相同的任務目標。官方也強調，Inkling 並非當前最強的模型（無論開放或封閉權重），而是以多模態、高效思考與可微調性兼備的均衡特質，作為適合客製化的開放權重基座。此外，Thinking Machines 也同步釋出了輕量級版本 Inkling-Small（12B 活躍參數）供開發者預覽。 開發者生態與應用 Thinking Machines 致力於推動模型客製化，並透過以下方式支援開發者： 平台整合：Inkling 現已於 Tinker 平台開放微調，並提供「Inkling Playground」介面供開發者直接進行互動測試。 自我優化：官方展示了 Inkling 透過 Tinker 平台自行編寫、執行並評估微調任務的能力。 生態支援：該模型獲得了多個開源社群與基礎設施夥伴的 Day-0 支援，包括 Together AI、FireworksAI、Databricks、Unsloth、Modal、Baseten、LightSeek，以及 vLLM 與 SGLang 等專案。 安全性與穩健性 在安全性方面，Inkling 針對「認識論」（epistemics）進行了特別訓練，強調模型在回答問題時的校準能力與信心表達。官方委託外部測試人員針對武器與暴力相關請求進行評估，結果顯示 Inkling 在 FORTRESS 基準測試中，於其所比較的開放權重模型中展現最強的內建安全防護機制。原文：https://easyvibecoding.app/curated/2537-thinking-machines-launches-inkling-open-weight