07.对scaling law不乐观，o1很难创造新概念，我们距离大模型共识有多远？

本期节目是孟醒受邀参加TGO鲲鹏会与张俊伟博士和田渊栋博士的对谈，他们围绕大模型领域的scaling Law、涌现能力、大模型的双系统应用以及AI Agent话题并结合当下多个研究展开讨论。 主播张俊伟 IEEE T-CSVT Associate Editior、TGO 鲲鹏会 硅谷董事 嘉宾田渊栋 MetaAI研究团队（FAIR）研究科学家总监、卡耐基梅隆大学机器人系博士孟醒 五源资本合伙人、滴滴前自动驾驶COO 时间轴3:58 无人驾驶中是否存在scaling law效应？9:12 对scaling law并不乐观至少在目前看来大模型的能力并不会断崖式地变好12:14 田渊栋博士的新工作：神经网络的解可以通过某种代数的方式构造出来18:30 Dualformer模型中的双系统system1和system2的分工21:36 Apple GSM和Danny Zhou对于COT的分歧和争议24:24 大模型无法做到过滤无关信息进行推理29:04 大语言模型的物理学：一个小变量的改变能影响大语言模型的逻辑31:28 大模型能抽象出数学中的定义吗？37:22 学界和产业中目前AI agent是什么样的进展？ 提及Scaling Law｜涌现效应｜Dualformer｜Apple GSM｜Danny Zhou｜Allen ZhuComposing Global Optimizers to Reasoning Tasks via Algebraic Objects in Neural NetsYuandong TianDualformer: Controllable Fast and Slow Thinking by Learning with Randomized Reasoning TracesDiJia Su, Sainbayar Sukhbaatar, Michael Rabbat, Yuandong Tian, Qinqing ZhengChain of Thought Empowers Transformers to Solve Inherently Serial ProblemsZhiyuan Li, Hong Liu, Denny Zhou, Tengyu MaPhysics of Language Models: physics.allen-zhu.com 后期：大奎在小宇宙查看该单集文稿