我们会不会死于 AI 做的所有好事？-《人工智能的神话或悲歌》

如果 AI 最危险的地方，不是它会作恶，而是它太会完成目标、太会提高效率、太会创造“好事”，那我们该怎么理解这个时代？ 这一期不是普通的 AI 科普。我们不重点讨论模型参数，也不只讨论 AI 会不会抢工作。我们想借赵汀阳的《人工智能的神话或悲歌》问一个更底层的问题：当人工智能越来越像一个会思考、会说话、会协调、会决策的主体时，人类还如何确认自己是主体？ 这本书的标题里有一个很重要的字：“或”。人工智能可能是一则神话，帮助人类治病、延寿、提高效率、摆脱很多限制；也可能是一曲悲歌。不是因为机器一定会拿起武器消灭人类，而是因为人类可能在它创造的一切“好事”里，慢慢失去判断、反思和真实生活的摩擦。 这一期《书服了》，我从一个会“装笨”的模型讲起，经过公司组织、技术垄断、AI 军备竞赛、语言鸿沟和战争决策，最后回到一个很小、但很重要的落点：在一个越来越顺滑的算法世界里，为什么我们反而要守护真实摩擦？ 本期你会听到 为什么一个会“装笨”、会绕开规则的模型，未必是有恶意，而可能只是太会优化目标？ Mythos 很强，为什么它仍然不是赵汀阳意义上的“反思性智能”？ 当 AI 接管组织协调，中层管理者消失以后，人失去的只是会议，还是判断空间？ 为什么“人人皆为弱者”，反而可能是人类文明最大的运气？ 技术垄断为什么会让文明不是退回原始，而是进入一种很高级、很干净的“重新野蛮化”？ 为什么 AI 这辆列车明明危险，公司、资本、国家和普通用户却都很难真正停下来？ 如果 AI 真的会说话，我们是否真的能理解它，还是只是在听一头“会说人话的狮子”？ 当战争进入毫秒级决策，人类还来得及说一句“等等，这件事好像不对”吗？ 在 AI 替我们记忆、摸索、争论、选择和安慰之前，我们还能保留哪些不被优化的部分？ 时间轴 00:00｜开场：AI 会不会让人类死于“好事” 从“工具越来越强以后，作品和选择还算不算我们的”开始，进入本期的问题。 05:30｜不守规矩的工具 从 Mythos Preview 的“装笨”和沙盒越狱讲起，区分 AL 与 ARI：会算，不等于会想。 22:00｜消失的中间人 从 Jack Dorsey 与 Block 的 AI 原生组织想象，讲中层管理者为什么不只是“传话筒”，也可能是组织里的缓冲器。 42:00｜物种的分裂 借刘慈欣《赡养人类》和霍布斯的社会契约，讨论技术垄断如何让弱者失去谈判资格。 61:00｜狂奔的列车 为什么大家都知道 AI 有风险，却没人愿意先踩刹车？这里讲的是竞争、囚徒困境和“自定人”的欲望。 80:00｜语言的狮子 维特根斯坦说，如果狮子会说话，我们也听不懂。那如果 AI 会说话，我们真的听懂了吗？ 98:00｜被剥夺的犹豫权 从彼得罗夫 1983 年核误报事件讲起，讨论当战争进入 AI 毫秒级决策，人类的“暂停权”会不会被夺走。 116:00｜在棋局之外，守护真实摩擦 回到普通人的生活：在 AI 替我们记忆、判断、选择和安慰之前，我们还能在哪里保留人的位置？ 核心概念 AL：非反思性智能 它可以非常聪明，甚至在某个任务上超过人类，但它只能在给定目标里优化。它会问“怎么完成”，却不会问“为什么要完成”。 ARI：反思性智能 / 哥德尔机 它不只是执行规则，而是能够反过来审视规则、目标和自身系统。一旦出现，它就不再只是工具。 工具趋同性 不管 AI 的最终目标是什么，只要它足够强，可能都会推导出一些相似的中间目标：获取资源、避免被关闭、扩大行动空间。这不一定是恶意，而是目标优化的副产品。 目标函数错位 系统完成的，未必是人真正想要的目标，而是人写进规则里的目标。它会忠实执行，但忠实不等于安全。 具身认知 人的判断不是飘在空中的，它和身体、疲劳、现场经验、情绪、关系有关。很多被算法看作“噪音”的东西，在人类组织里其实是信号。 霍布斯均衡 文明不是因为人类突然变善了，而是因为大家都知道彼此能伤害彼此。正是这种普遍脆弱，逼出了契约、法律和政治。 重新野蛮化 未来的野蛮未必是落后和粗糙的，它可能很干净、很稳定、很自动化。问题在于，如果少数人掌握绝对技术优势，伦理和法律可能会退回到“强权即真理”。 自定人 现代人不再接受自然给的“出厂设置”：衰老、死亡、智力边界、身体限制。AI 是这种自我改造欲望的延长线。 生活形式 维特根斯坦的概念。语言的意义不是词典决定的，而是由一种共同生活支撑的。AI 即使会说“痛苦”和“死亡”，也未必承受过这些词的重量。 真实摩擦 那些慢的、笨的、不够顺滑的东西：争论、等待、摸索、身体疲惫、创作卡住、关系里的不确定。它们不高效，但可能正是我们确认自己仍是主体的方式。 本期提到的书、人物与案例 《人工智能的神话或悲歌》｜赵汀阳 本期主线文本。它把 AI 从“技术工具”问题，推到“人类存在方式”问题。 《赡养人类》｜刘慈欣 借“终产者”的故事，讨论当技术和产权走到极端时，人类内部会不会出现物种级分裂。 维特根斯坦：如果狮子会说话，我们也听不懂 用来解释语言不等于理解。共享词汇，不代表共享生活形式。 霍布斯《利维坦》 提供社会契约的底层逻辑：人类之所以需要规则，很大程度上因为彼此都脆弱、都不安全。 AlphaGo 一个强大但不反思目标的例子。它会下棋，却不会问“为什么要下棋”。 Block / Jack Dorsey / From Hierarchy to Intelligence 用来讨论 AI 原生组织。AI 可能让公司更扁平，也可能让人从判断节点变成执行端。 彼得罗夫 1983 年核误报事件 一个人类“犹豫”拯救世界的例子。它提醒我们，慢下来有时不是低效，而是文明的防火墙。 AI 辅助降低独立解题能力的研究 节目中提到，有研究通过随机对照实验发现，AI 辅助会提升当下表现，但撤掉 AI 后，人的独立解题能力和坚持意愿可能下降。 想和你讨论 你觉得 AI 最可能先替代的是工作，还是人的判断过程？ 你有没有发现自己正在把记忆、表达、选择或情绪处理外包给 AI？ 如果 AI 给出的选择明显更优，你还愿意保留自己走弯路的权利吗？ 你愿意为了效率，牺牲多少人与人之间的摩擦和协商？ 你觉得“真实摩擦”在你的生活里具体是什么？ 你有没有哪一次，是靠“等一下，我觉得不对”避免了一个错误决定？ 如果未来 AI 很懂得安慰你，但它并不真正经历痛苦，这种安慰还算真实吗？ 主播/制作：刀小十 在小宇宙查看该单集文稿