E229. ChatGPT的信念与没走的捷径｜对LLM的常见理解误区｜垂类模型有前途吗？｜大语言模型技术深度访谈1⧸3

OpenAI 为什么长期押注用 next token 训练通用模型，而没有为短期效果走更多捷径？围绕 ChatGPT 与 LLM 的技术路线，本期从 reinforcement learning、知识与任务对齐一路讨论到垂类模型和智能客服的生存空间。 适合正在选择模型路线、设计 AI 产品或评估垂类模型的技术与产品从业者，帮助区分模型能力、知识注入和任务对齐。 这期你会听到 • 为什么 next token 这种自监督任务可能学到可迁移的语言表示？ • OpenAI 坚持通用自回归路线，需要跨过怎样的短期效果劣势？ • ChatGPT 的短期高估与长期低估，分别会让产品判断偏向哪里？ • reinforcement learning、in-context learning 与模型参数变化应如何区分？ • 当通用模型开放更多定制能力后，垂类模型和智能客服还应保留什么优势？ 本期嘉宾 卢毅在一家智能客服创业公司负责机器学习，曾在苹果参与 Siri 的机器学习研究；本期结合模型研究与产品实践讨论大语言模型。 相关内容 观看本期视频版 阅读本期文字稿 加入Superlinear Academy免费社区 带上一个准备接入大语言模型的具体任务，说明它缺的是知识、格式对齐还是连续决策能力。 https://www.superlinear.academy/ 关于主播与节目 孙煜征（课代表立正），康奈尔大学经济学博士、Superlinear Academy创始人。曾任Amazon经济学家、Meta数据科学家和腾讯IEG副总监，也是OpenAI收购团队早期成员。 《课代表立正》关注AI如何改变工作、职业与商业，以及人在变化中最需要保留的判断力。