@HappyyPablo：Marlin-2B 推出輕量級視覺語言模型。 由 Shubham Sharma（@HappyyPablo）與 @rethinkNow348 開發的 Mar…

Marlin-2B 推出輕量級視覺語言模型。 由 Shubham Sharma（@HappyyPablo）與 @rethinkNow348 開發的 Marlin-2B，旨在解決開發者在處理影片內容時最核心的兩個問題：影片中發生了什麼事？以及這些事件發生在什麼時間點？該模型以僅 2B 參數的輕量級規模，在密集字幕生成與時間定位任務上展現了與 Gemini-2.5-flash 競爭的實力，為開發者提供了一種高效且低成本的開源解決方案。 開發背景與動機 開發者指出，他們在建構影片編輯 Agent 時，原本依賴 Gemini-2.5-flash 來解析 Instagram Reels 的事件，但頻繁遭遇內容審查機制（Content Filters）的阻礙。為了擺脫此限制，他們投入了一個月的時間與兩張 H100 GPU 進行開發，最終產出了 Marlin-2B。這款模型不僅是為了學術研究，更是為了滿足實際生產環境中對影片分析的需求。 核心功能與應用模式 Marlin-2B 透過兩種主要模式提供服務，並能直接回傳結構化的 Python 字典格式： marlin.caption()：生成結構化的「場景 + 事件」字幕，並附帶精確到秒的時間戳記。適用於為短影音自動生成字幕、建立影片庫索引，或為 Agent 提供影片內容的上下文資訊。 marlin.find()：針對自然語言查詢，回傳影片中對應的（開始, 結束）時間戳記。其執行速度極快，足以在 Agent 的迴圈中即時呼叫，精準定位影片中毫秒級的瞬間。 技術架構與訓練策略 Marlin-2B 基於「Qwen3.5-2B」進行微調，並保留了原有的視覺編碼器。其訓練過程分為兩個階段： 監督式微調（SFT）：使用包含多種公開資料集（如 ActivityNet、LSMDC、Charades 等）以及經由 Gemini-3-Flash 進行「思考模式」重標註的高品質資料。最終混合了約 40 萬筆高質量的片段級標註。 偏好優化：採用 SimPO（Simple Preference Optimization）技術進行訓練。透過 Gemini-3-Flash 作為評審，根據事實準確性、完整性與時間對齊度對候選輸出進行評分，建立勝負對（win/lose pairs）來優化模型，此方法比 DPO 更穩定且成本更低。 效能表現與評測 在 2B 參數級別中，Marlin-2B 是目前最強大的開源影片 VLM： 密集字幕生成：在「DREAM-1K」與「CaReBench」基準測試中表現優異，超越了 Tarsier-2 7B/34B 等模型。 時間定位：在「TimeLens-Bench」測試中，以 +6.4 mIoU 的優勢領先 Qwen2.5-VL-7B，並與 Gemini-2.5-flash 的效能相當。 部署優勢：模型與 vLLM 及 swift 部署框架相容，可在單張消費級 GPU 上運行，無需特殊的封裝即可直接使用。 資源與連結 開發團隊已公開模型權重與相關資源，並預告將發布訓練配方與新的基準測試： 模型下載：Hugging Face - Marlin-2B 線上展示：Marlin Hosted Demo 程式碼實作：模型透過 modeling_marlin.py 封裝了自定義的建模程式碼，開發者可透過標準的 HF transformers API 進行呼叫。原文：https://easyvibecoding.app/curated/1492