#84 强化学习的前世今生

【节目介绍】本期节目聚焦强化学习，带你走进这一人工智能核心领域。从图灵奖得主巴托（Andrew Barto）和萨顿（Richard S. Sutton）的卓越成就，到强化学习从游戏到大模型的广泛应用，我们将回顾这段发展历程，探索RL的未来潜力。这是一场关于深度学习的历史和现状的回顾之旅，重新带你领略人工智能与各个学科的融合魅力。【时间线】01:40 从AlphaGo到RLHF（基于人类反馈的强化学习）03:56 关于萨顿的《苦涩的教训》（The Bitter Lesson）09:15 强化学习的启蒙奠基 爱德华·桑代克（Edward Thorndike）,动物智能和效果法则（Law of Effect） 唐纳德·赫布（Donald Hebb）,赫布法则（Hebb's Law） 沃伦·麦卡洛克（Warren McCulloch）和沃尔特·皮茨（Walter Pitts），神经元理论 安德烈·马尔可夫（Andrey Markov），马尔可夫决策过程（MDPs）15:35 人工智能领域的早期发展 艾伦·图灵（Alan Turing），人工智能之父 贝尔蒙特·法利（Belmont Farley） & 韦斯利·克拉克**（**Wesley A. Clark），模拟第一个含有128个神经元的小型神经网络 克劳德·香农（Claude Shannon），Theseus迷宫老鼠 马文·明斯基（Marvin Lee Minsky），随机神经模拟强化计算器SNARC（Stochastic Neural Analog Reinforcement Calculator）21:04 游戏让强化学习续命 亚瑟·塞缪尔（Arthur Samuel），IBM701上的第一个跳棋程序（Checkers） 理查德·乌尔曼（Richard Belleman），Dynamic programming equation（动态规划方程，即贝尔曼方程） 唐纳德·米奇（Donald Michie），井字游戏 Matchbox Educable Noughts And Crosses Engine (MENACE)25:49 强化学习的诞生 安德鲁·巴托（Andrew Barto），2024年图灵奖得主，强化学习奠基人 约翰·霍兰德（John Henry Holland），遗传算法和学习分类器 诺伯特·维纳（Norbert Wiener），控制论奠基人 迈克尔·阿比布（Michael A. Arbib），神经计算 哈里·克劳普（Harry Clopf），享乐神经元 理查德·萨顿（Richard S. Sutton），2024年图灵奖得主，强化学习奠基人 杰拉尔德·特萨罗（Gerald Tesauro），TD-Gammon 西洋双陆棋游戏 沃尔夫拉姆·舒尔茨（Wolfram Schultz），多巴胺40:35 强化学习的后继演化 大卫·西尔弗**（**David Silver），深度强化学习（Deep reinforcement learning） 吴恩达（Andrew Ng），逆强化学习（IRL，‌Inverse Reinforcement Learning） 皮特·阿贝尔 （Pieter Abbeel），机器人学习（Robot Learning）和模仿学习（Imitation Learning） 谢尔盖·列文（Sergey Levine），自主机器人和车辆 约翰·舒尔曼（John Schulman），深度强化学习（Deep RL）的策略优化（Policy Optimization）45:30 萨顿最新的观点，《去中心化神经网络》（Decentralized Neural Networks）【关系图】【延伸阅读】《苦涩的教训》（The Bitter Lesson），理查德·萨顿（Richard S. Sutton） 2019【片头和片尾音乐】四熹丸子 - 远去的列车【感谢】特别感谢[AIGC开放社区]和[AI重塑世界]的大力支持，请听友及时订阅微信公众号，查看本播客的文字版内容。欢迎订阅本播客节目，本节目在小宇宙、喜马拉雅、苹果播客、蜻蜓FM、网易云音乐、荔枝FM等平台均已上线。在小宇宙查看该单集文稿