Mirelo 發布了 MuScriptor 模型，讓使用者能將音訊轉換為多軌 MIDI

Mirelo 發布了 MuScriptor 模型，讓使用者能將音訊轉換為多軌 MIDI。 核心功能與技術突破 Mirelo 這款模型要解的是音樂轉錄（Music Transcription）領域的長期難題。與現有大多數僅能處理單一音軌（如單獨人聲或鋼琴）的工具不同，該模型具備以下關鍵能力： 完整混音處理：無需分離音軌（stems），直接輸入 WAV 或 MP3 檔案即可識別並分離出人聲、鼓組、貝斯、鍵盤等多種樂器。 音樂情境分析：除了產生 MIDI 軌道，系統還能檢測和弦、調性與節奏（tempo），為音樂製作人提供完整的和聲資訊。 多視圖呈現：使用者可在 Mirelo Studio 介面中透過鋼琴捲簾（Piano roll）檢視轉錄結果，並可針對每個檢測到的部分進行審閱，在匯出前調整音符。 訓練架構與方法 該模型將音樂轉錄視為一種語言建模任務，將音訊轉換為一維的離散 token 序列。為了克服多樂器轉錄中標註資料稀缺的瓶頸，研究團隊採用了三階段訓練策略： DSynth（預訓練）：利用約 145 萬個 MIDI 檔案進行即時合成，建立大規模合成資料集，涵蓋多種樂器、調性、節奏與調音。 DReal（微調）：結合包含 17 萬個真實音樂錄音（總計超過 11,000 小時）的內部資料集進行微調，顯著提升了模型在真實場景下的表現。 DRL（後訓練）：選取 300 個高品質軌道，應用類似 GRPO 的演算法進行強化學習，進一步優化轉錄精確度。 資源開放與應用 Mirelo 與 Kyutai 已將此研究成果開源，希望推動音樂科技領域的發展： 學術與開發資源：詳細研究論文已發布於 arXiv，推理程式碼託管於 GitHub，模型權重則公開於 Hugging Face。 實際應用：使用者可直接前往 Mirelo Studio 測試免費的 Audio-to-MIDI 工具，體驗將音訊轉為 MIDI 並匯出至 DAW 進行創作的完整流程。Mirelo 平台展示將音訊檔案轉換為 MIDI 格式並進行樂譜視覺化的操作流程。 影片中的 Prompt 與操作：操作步驟： 1. （00:00）點擊上傳檔案按鈕 2. （00:05）系統自動識別音軌並顯示鋼琴捲簾視圖 3. （00:15）點擊播放按鈕 4. （00:24）點擊 View 選單並選擇 Score 視圖原文：https://easyvibecoding.app/curated/2439-mirelo-launches-muscriptor-audio-to-midi