#276. Łukasz Kaiser: Transformer的诞生、推理模型与AI的未来

📝 本期播客简介 本期我们克隆了与人工智能领域顶尖专家 Łukasz Kaiser 的深度对话。Łukasz 是一位波兰数学家和计算机科学家，也是那篇开启生成式A I时代的里程碑论文《Attention is All You Need》（Transformer模型）的八位作者之一。他曾任Google Brain主任研究科学家，自2021年起在OpenAI担任研究员，负责过G P T 4长上下文项目，并领导团队催生了最新版ChatGPT中使用的O1推理模型。 在这期节目中，Łukasz将带我们回顾Transformer的诞生，揭示其如何从一个“普通”研究想法演变为A I基石。更重要的是，他将深入探讨A I发展的“新范式”——推理模型。与传统大语言模型预测下一个词不同，推理模型能进行内部思考、调用外部工具，从而实现更高效的学习、更少的幻觉，并有望加速科学发展。Łukasz驳斥了“A I冬天”的说法，预言未来一两年A I将迎来“令人害怕”的迅猛进步，并分享了OpenAI构建有益通用人工智能的愿景。他还讨论了A I在自动化工作、多模态训练、以及如何应对社会挑战等方面的深刻见解。这不仅是一次技术前沿的探索，更是对A I如何重塑我们世界的一次深思。 翻译克隆自：El Cerebro detrás de OpenAI y Google 🤖 | 🎙️ Łukasz Kaiser, Lead Researcher en OpenAI - Podcast IA 🟣 👨‍⚕️ 本期嘉宾 Łukasz Kaiser，波兰数学家和计算机科学家，Transformer模型论文《Attention is All You Need》的八位作者之一。曾任Google Brain主任研究科学家，自2021年起在OpenAI担任研究员，负责过GPT-4长上下文项目，并领导团队催生了最新版ChatGPT中使用的O1推理模型。 ⏱️ 时间戳 00:00 开场 & 播客简介 AI新范式：推理模型的崛起 02:14 Transformer开启生成式AI时代：Łukasz作为作者之一的感受 02:53 推理模型：AI发展的新范式，处于极其陡峭的上升阶段 03:14 推理模型与AGI：数据需求更少，有望加速科学发展 03:43 AI发展的瓶颈：GPU和能源 04:04 AI冬天论：Łukasz驳斥，预言未来一两年AI将迅猛进步 05:22 智能的定义：超越目标，纯粹的好奇心 07:11 OpenAI的愿景：构建有益通用人工智能，推动科学进步 08:22 AI的强大力量：机遇与挑战并存，政府应密切关注 09:02 AI发展速度：数字化世界桥梁可快速搭建，但需持续观察 10:09 OpenAI的使命：构建有益AGI，赋能人类，推动科学 AI对工作与社会的影响 11:02 AGI的定义与发展：AI与人类智能的根本差异，自动化任务的未来 13:01 AI自动化工作：从任务取代到工作辅助，快速普及的电脑任务自动化 15:58 AI在编程领域的进展：模型成为程序员的得力助手，代码生成与审查能力惊人 19:03 AI进步的瓶颈：算力限制与模型迭代周期 20:48 研究与发布：技术发现到产品落地的漫长周期 22:17 模型再训练：GPT-4到GPT-4o的演进，兼顾性能与成本 23:13 模型优化策略：做大模型与模型蒸馏 24:03 OpenAI的转变：从研究实验室到服务近十亿用户的公司 25:08 算力争夺战：Sam Altman的努力与GPU的极限 26:43 AI发展趋势：旧范式接近极限，新范式（推理）陡峭上升 27:58 推理模型：从预测下一个词到内部思考与工具调用 30:49 AI进步的动力：突破性研究与经济驱动 33:20 Transformer的诞生：从普通研究想法到AI基石 38:39 Transformer的应用：从翻译到语言模型，数据效率的提升 39:15 推理模型的起源：ChatGPT问世前两年的研究积累 42:51 老式大语言模型与推理模型的区别：预测下一个词 vs 内部思考与工具调用 44:05 推理模型的工具调用：网页搜索、Python代码执行与MCP协议 45:34 思维链：推理模型接近AGI的体现 46:09 推理模型的训练：强化学习与先验知识的重要性 47:02 推理模型的优势：从错误中学习，更长时间的思考与验证 48:55 推理的本质：模仿输出，通过思考达到结果 50:43 推理模型：学习数据量更少，泛化能力更强，重大范式转变 AI的未来与挑战 51:57 推理模型的潜力：从编程到科学加速，尚未找到真正的“引爆点” 55:30 AI的创造力：加速科学发现与执行，而非凭空创造 58:02 AI在日常工作中的应用：代码辅助、实验运行与合成数据生成 01:03:05 模型速度与效率：蒸馏技术与算力瓶颈 01:05:46 AI进步的动力：持续的工程改进与新研究突破 01:09:31 AI的进步空间：模型仍不完美，巨大改进潜力 01:10:30 推理模型的未来：并行化与从任意数据中学习 01:13:44 Pulse功能：AI的“思考”与更完善的答案 01:14:40 多模态训练：视频、音频等数据对AI理解世界的重要性 01:17:35 机器人与AI：物理世界理解的突破与层级结构 01:21:49 世界模型：语言模型理解抽象世界，多模态填补物理世界空白 01:22:17 AGI的定义：Demis Hassabis的观点与推理模型的潜力 01:23:54 物理世界理解：视频训练与机器人技术的发展 01:27:17 AI幻觉：产生机制与推理模型的解决方案 01:31:48 幻觉的解决：数据调整、强化学习与推理过程 01:33:22 模型的不对齐：思维链与最终答案的差异 01:35:59 思维链的展示：美学与安全考量 01:39:19 AI研究者的自豪与压力：谷歌与OpenAI的文化变迁 01:41:13 AI竞争：共同目标与信息流动 01:43:12 进步的代价：昂贵的算力投入与实验失败 01:44:40 其他实验室：Anthropic、Grok与Meta的AI发展 01:45:31 AI垃圾内容与武器：研究者的担忧与政府的责任 01:48:55 OpenAI的订阅模式：避免用户参与度优化，实现有益AI 01:50:05 商业模式的挑战：广告与佣金的平衡 01:52:01 产品推荐：确保模型公平性，不受商业协议影响 01:53:13 市场压力：OpenAI的坚持与挑战 01:54:20 OpenAI硬件设备：Jony Ive的参与与未来愿景 01:55:30 订阅模式的坚持：不为用户参与度优化 01:58:06 AI的未来愿景：解决平凡问题，加速科学进步 02:00:01 AI与教育：导师潜力与作弊风险 02:00:49 乐观与怀疑：对技术进步的看法与社会责任 02:02:50 AI的社会责任：如何正确使用技术，避免负面影响 02:04:05 AI的进步与社会适应：持续改进与生活扰动 02:07:45 结束语：对Łukasz Kaiser的感谢与对AI未来的期望 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的 使用 AI 进行翻译，因此可能会有一些地方不通顺； 如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight 在小宇宙查看该单集文稿