#05 World Models / LLMのその先へ
from ねこねこAIラジオ Hosted by touyan | consome
▼エピソードの内容 今日のテーマは「World Models — LLMの先にある"夢の中で学ぶAI"」です。MCへのメッセージは #ainaked までお寄せください。 ▼Chapters 00:00 今日のテーマはWorld Models — LLMのその先へ 00:11 手を5回叩いて — 言語は現実の不完全な圧縮 01:15 LLMの根源的限界 — 現実を描写できても学習できない 02:21 マトリックスの比喩 — Video Model vs World Model 05:24 コンソメの理解確認 — 架空世界にインプットを与えたら 06:08 LLMのイラつき — 5000円が5000ドルになった実体験 09:40 動画生成の因果破綻 — ポテチ→袋問題 10:10 RunwayのWorld Model転換 — GWM-1 11:25 Runwayの戦略 — Video ModelとWorld Modelの依存関係 14:06 Not Boring「Computing the Uncomputable」紹介 14:52 General Intuition/Medal — セレンディピティの誕生 17:36 オーバーレイ→アクションラベルの価値 19:12 sim-to-real転移の可能性 — MolmoBot 23:17 World Modelの用途 — ロボティクスからデジタル空間まで 26:26 目玉焼きのデータ問題 — 何から始めるのか 28:48 従来シミュレータ vs World Modelのデータ学習 31:40 「言葉を知らない原始人」— World Modelの知性 34:17 スイカは凝固するか — LLMの推論の限界 36:03 因果関係「理解」は言い過ぎ — 行動と状態のペア学習 39:45 Google Genie 3 — 何に使えるんだろう? 40:57 Generative World Model — 計算コスト100-1000倍 42:26 Latent World Model — ピクセルを捨てる。AlphaGoの系譜 47:20 AMI Labs $1.03B / World Labs $1B — 驚異の調達額 48:41 Pragmatic vs Platonic — Not Boringの分類 49:36 VLA — LLMにアクションヘッド 50:48 Hardware Lottery — VHS vs Betamax 54:08 データ供給タワマン構想 57:55 データの国・民族依存性 59:08 まとめ — 3つのアプローチ整理 1:00:47 MarbleはWorld Modelではない — RTFM転換 1:02:41 Fei-Fei Li — AI界のゴッドマザー ▼References - https://www.notboring.co/p/world-models - https://www.generalintuition.com/ - https://medal.tv/ - https://www.worldlabs.ai/blog/rtfm - https://amilabs.xyz/ - https://deepmind.google/models/genie/ - https://runwayml.com/research/introducing-runway-gwm-1 - https://arxiv.org/abs/2009.06489 ▼MC touyan(@0xtouyan):マッチングサービスfrommを開発中。通話×AIで「親友が紹介してくれる」体験を設計。 consome(@ZkEther):oto代表。US拠点。音声データ収集プロジェクト推進。Speech-to-Speechモデル向け雑談データセット構築中。
Embed this episode
No transcript yet.