@wjwang2003：World-R1透過強化學習喚醒影片模型內在3D能力，無需架構變更或影片資料。 World-R1框架於2026年arXiv論文（arXiv:2604.24…

World-R1透過強化學習喚醒影片模型內在3D能力，無需架構變更或影片資料。 World-R1框架於2026年arXiv論文（arXiv:2604.24764）中提出，由Weijie Wang領軍，結合浙江大學、Microsoft Research及獨立研究者開發，利用強化學習（RL）對齊文字到影片生成與3D約束，解決現有影片基礎模型的幾何不一致問題。該方法不改變基礎影片模型架構、不需大量3D監督資料或額外推論成本，僅用3K純文字提示進行優化，即顯著提升3D一致性，同時保留視覺品質與動作多樣性。 核心創新機制 World-R1的核心在於將相機軌跡嵌入擴散噪聲中，實現零額外模組的相機感知潛在初始化，無需修改基礎影片架構。 文字提示中的相機指令（如「camera move left」「camera push in」「camera orbit right」）轉換為明確軌跡，透過噪聲包裝（noise wrapping）注入初始影片潛在空間，提供隱式相機條件。 使用Flow-GRPO進行後訓練優化，結合3D感知獎勵與美學獎勵，來自預訓練3D基礎模型與視覺語言模型的回饋。 3D獎勵具體包括Depth Anything 3與Qwen3-VL作為幾何評審，提供meta-view評估、重構一致性及軌跡對齊獎勵，強制結構一致性。 週期性解耦訓練策略 為平衡剛性幾何一致性與動態場景流暢度，World-R1採用週期性解耦訓練，避免模型過擬合靜態剛性場景。 基礎階段聚焦純文字世界模擬分類法（pure-text world-simulation taxonomy），涵蓋自然景觀、都市建築、微觀靜物、奇幻超現實及藝術風格。 週期性動態專屬訓練階段，使用高熵動態提示（如獅子咆哮、士兵齊步行進、無人機走廊飛行），以動態場景提示正規化模型，提升動作多樣性，同時保留已學3D一致性。 此策略確保建築物保持剛性（如層狀岩石峽谷壁），旗幟仍能飄揚，展現大尺度幾何、流體結構與大氣一致性。 生成結果展示 World-R1在多類提示下產生具代表性影片，涵蓋靜態到動態場景，證明3D一致性大幅提升。 自然景觀：深層峽谷壁（camera move left）、極地冰原（camera push in）、發光巨型真菌森林（camera orbit right then push in）；水景如苔蘚懸崖瀑布、深海珊瑚礁、海洋漩渦；天氣如野花田（camera orbit right）、星夜湖映（camera pan left）、夜林落雪（camera move left）。 都市與建築：歐洲中世紀廣場（camera orbit right）、現代玻璃摩天大樓（camera move left）、未來城市（camera push in）；室內如歌劇院觀眾、無尾擴骨展覽、洗衣店洗衣機；基礎設施如廢棄工業區（camera pan left）、巨型橋樑、無人巴士站。 微觀與靜物：馬卡龍下午茶組、乾野花排列、蠟燭靜物（camera move right then push in）；微縮景觀模型（camera move left）、晶體微結構（camera orbit right）；材質如威士忌冰塊（camera orbit right）、鑽石寶石、發光水母鐘形細節。 奇幻超現實：融化鐘樹枝（camera pull out）、雲上浮寺（camera orbit left）、奇想城市景（camera pull out）。 藝術風格：日本橋水百合池、中國水墨場景（camera push in）、浮世繪木刻風格。 動態子集：獅吼風中鬃毛抖動、士兵同步行軍、無人機走廊飛行、駭客狂打鍵盤、戰機表演、湖上鳥群起飛。 技術實現與開源細節 專案網站（https://aka.ms/world-r1）、論文（https://huggingface.co/papers/2604.24764）及程式碼（https://github.com/microsoft/World-R1）已公開，基於Wan2.1-T2V-14B-Diffusers模型，提供完整訓練與推論腳本。 環境設定：Python 3.10+、CUDA、PyTorch（cu124），安裝diffusers、transformers、peft、wandb等核心套件；額外3D獎勵套件如lpips、trimesh、moviepy、Depth Anything 3、Qwen3-VL。 訓練流程：單節點使用scripts/runsinglenode.sh，指定MODELPATH、SERVERVISIBLEDEVICES、TRAINVISIBLEDEVICES、NUMPROCESSES=6；多節點需預啟reward servers，提供REWARD3DSERVERURL與GENERALREWARDSERVERURL。 工具腳本： - scripts/trainworldr1.py：主RL訓練入口。 - scripts/inferwanlora.py：批次推論WAN檢查點或LoRA。 - scripts/noisewrapablation.py：視覺化潛在包裝效果。 - scripts/servereward3d.py與scripts/servegeneralreward.py：獎勵服務後端。 資料集：內建dataset/final/（基礎提示分割，用於訓練、驗證、動態正規化）與dataset/enhanced/（擴充提示變體）。 授權為MIT，第三方如Flow-GRPO、Depth Anything 3保留原授權；致謝Wan2.1、Flow-GRPO、Depth Anything 3、Qwen3-VL開源貢獻。 方法優勢與影響 相較既有方法，World-R1避免架構修改帶來的計算成本與可擴展性限制，證明影片模型已內含3D知識，僅需RL「喚醒」。評估顯示，其有效彌補影片生成與可擴展世界模擬的差距，保留基礎模型視覺品質，適用自然景觀大尺度幾何、都市透視正確性、微觀材質保真度及非歐幾何奇幻場景。開源實現降低門檻，預期推動文字到影片生成向真實3D世界模擬邁進，無需影片訓練資料即達此效，凸顯RL在多模態生成中的高效潛力。 原文：https://easyvibecoding.app/curated/1030