E444. AB实验，有哪些重要却不为人知的知识？｜课代表数据大师课5

A/B实验的价值不是替好想法背书，而是尽早发现判断与现实之间的偏差。本期结合亚马逊、Meta、腾讯与 Statsig 的经验，从功能开关、实验文化到 CUPED 和序贯检验，拆解工业界如何把实验变成可规模化的决策系统。 适合数据科学家、产品经理和实验平台建设者，帮助你判断团队该先补可信指标与系统架构，还是引入更复杂的统计方法。 这期你会听到 • 为什么 A/B实验最重要的产出是“惊喜”，而不是验证既有信念？ • 功能开关与实验系统结合后，如何降低每次实验的额外成本？ • Statsig 式规模化实验为什么依赖可信数据和集中定义的指标？ • CUPED 如何通过降低方差缩短实验时间？ • 序贯检验如何约束数据偷看，减少错误上线决策？ 章节 00:00:54 — A/B实验究竟解决什么问题 00:02:07 — 实验价值来自意料之外的结果 00:04:21 — 功能开关如何实现全面实验覆盖 00:06:24 — 实验文化如何赋予工程师自主权 00:09:24 — 可规模化实验体系的设计原则 00:11:08 — 可信数据与统一指标为何是基石 00:13:22 — 复杂方法可能拖慢真实决策 00:18:14 — 工业实践如何修正教科书式假设检验 00:19:02 — CUPED：用方差缩减加快实验 00:20:22 — 贝叶斯与频率学派的决策差异 00:23:36 — 序贯检验如何约束数据偷看 00:28:33 — 选择前沿方法前先确认问题 相关内容 观看本期视频版 阅读本期文字稿 加入Superlinear Academy免费社区 把正在设计的实验方案和指标口径带来，讨论偏差风险与上线决策。 https://www.superlinear.academy/ 关于主播与节目 孙煜征（课代表立正），康奈尔大学经济学博士、Superlinear Academy创始人。曾任Amazon经济学家、Meta数据科学家和腾讯IEG副总监，也是OpenAI收购团队早期成员。 《课代表立正》关注AI如何改变工作、职业与商业，以及人在变化中最需要保留的判断力。