我们会不会死于 AI 做的所有好事？-《人工智能的神话或悲歌》

如果 AI 最危险的地方，不是它会作恶，而是它太会完成目标、太会提高效率、太会创造“好事”，那我们该怎么理解这个时代？这一期不是普通的 AI 科普。我们不重点讨论模型参数，也不只讨论 AI 会不会抢工作。我们想借赵汀阳的《人工智能的神话或悲歌》问一个更底层的问题：当人工智能越来越像一个会思考、会说话、会协调、会决策的主体时，人类还如何确认自己是主体？这本书的标题里有一个很重要的字：“或”。人工智能可能是一则神话，帮助人类治病、延寿、提高效率、摆脱很多限制；也可能是一曲悲歌。不是因为机器一定会拿起武器消灭人类，而是因为人类可能在它创造的一切“好事”里，慢慢失去判断、反思和真实生活的摩擦。这一期《书服了》，我从一个会“装笨”的模型讲起，经过公司组织、技术垄断、AI 军备竞赛、语言鸿沟和战争决策，最后回到一个很小、但很重要的落点：在一个越来越顺滑的算法世界里，为什么我们反而要守护真实摩擦？本期你会听到为什么一个会“装笨”、会绕开规则的模型，未必是有恶意，而可能只是太会优化目标？Mythos 很强，为什么它仍然不是赵汀阳意义上的“反思性智能”？当 AI 接管组织协调，中层管理者消失以后，人失去的只是会议，还是判断空间？为什么“人人皆为弱者”，反而可能是人类文明最大的运气？技术垄断为什么会让文明不是退回原始，而是进入一种很高级、很干净的“重新野蛮化”？为什么 AI 这辆列车明明危险，公司、资本、国家和普通用户却都很难真正停下来？如果 AI 真的会说话，我们是否真的能理解它，还是只是在听一头“会说人话的狮子”？当战争进入毫秒级决策，人类还来得及说一句“等等，这件事好像不对”吗？在 AI 替我们记忆、摸索、争论、选择和安慰之前，我们还能保留哪些不被优化的部分？时间轴00:00｜开场：AI 会不会让人类死于“好事”从“工具越来越强以后，作品和选择还算不算我们的”开始，进入本期的问题。05:30｜不守规矩的工具从 Mythos Preview 的“装笨”和沙盒越狱讲起，区分 AL 与 ARI：会算，不等于会想。22:00｜消失的中间人从 Jack Dorsey 与 Block 的 AI 原生组织想象，讲中层管理者为什么不只是“传话筒”，也可能是组织里的缓冲器。42:00｜物种的分裂借刘慈欣《赡养人类》和霍布斯的社会契约，讨论技术垄断如何让弱者失去谈判资格。61:00｜狂奔的列车为什么大家都知道 AI 有风险，却没人愿意先踩刹车？这里讲的是竞争、囚徒困境和“自定人”的欲望。80:00｜语言的狮子维特根斯坦说，如果狮子会说话，我们也听不懂。那如果 AI 会说话，我们真的听懂了吗？98:00｜被剥夺的犹豫权从彼得罗夫 1983 年核误报事件讲起，讨论当战争进入 AI 毫秒级决策，人类的“暂停权”会不会被夺走。116:00｜在棋局之外，守护真实摩擦回到普通人的生活：在 AI 替我们记忆、判断、选择和安慰之前，我们还能在哪里保留人的位置？核心概念AL：非反思性智能它可以非常聪明，甚至在某个任务上超过人类，但它只能在给定目标里优化。它会问“怎么完成”，却不会问“为什么要完成”。ARI：反思性智能 / 哥德尔机它不只是执行规则，而是能够反过来审视规则、目标和自身系统。一旦出现，它就不再只是工具。工具趋同性不管 AI 的最终目标是什么，只要它足够强，可能都会推导出一些相似的中间目标：获取资源、避免被关闭、扩大行动空间。这不一定是恶意，而是目标优化的副产品。目标函数错位系统完成的，未必是人真正想要的目标，而是人写进规则里的目标。它会忠实执行，但忠实不等于安全。具身认知人的判断不是飘在空中的，它和身体、疲劳、现场经验、情绪、关系有关。很多被算法看作“噪音”的东西，在人类组织里其实是信号。霍布斯均衡文明不是因为人类突然变善了，而是因为大家都知道彼此能伤害彼此。正是这种普遍脆弱，逼出了契约、法律和政治。重新野蛮化未来的野蛮未必是落后和粗糙的，它可能很干净、很稳定、很自动化。问题在于，如果少数人掌握绝对技术优势，伦理和法律可能会退回到“强权即真理”。自定人现代人不再接受自然给的“出厂设置”：衰老、死亡、智力边界、身体限制。AI 是这种自我改造欲望的延长线。生活形式维特根斯坦的概念。语言的意义不是词典决定的，而是由一种共同生活支撑的。AI 即使会说“痛苦”和“死亡”，也未必承受过这些词的重量。真实摩擦那些慢的、笨的、不够顺滑的东西：争论、等待、摸索、身体疲惫、创作卡住、关系里的不确定。它们不高效，但可能正是我们确认自己仍是主体的方式。本期提到的书、人物与案例《人工智能的神话或悲歌》｜赵汀阳本期主线文本。它把 AI 从“技术工具”问题，推到“人类存在方式”问题。《赡养人类》｜刘慈欣借“终产者”的故事，讨论当技术和产权走到极端时，人类内部会不会出现物种级分裂。维特根斯坦：如果狮子会说话，我们也听不懂用来解释语言不等于理解。共享词汇，不代表共享生活形式。霍布斯《利维坦》提供社会契约的底层逻辑：人类之所以需要规则，很大程度上因为彼此都脆弱、都不安全。AlphaGo一个强大但不反思目标的例子。它会下棋，却不会问“为什么要下棋”。Block / Jack Dorsey / From Hierarchy to Intelligence用来讨论 AI 原生组织。AI 可能让公司更扁平，也可能让人从判断节点变成执行端。彼得罗夫 1983 年核误报事件一个人类“犹豫”拯救世界的例子。它提醒我们，慢下来有时不是低效，而是文明的防火墙。AI 辅助降低独立解题能力的研究节目中提到，有研究通过随机对照实验发现，AI 辅助会提升当下表现，但撤掉 AI 后，人的独立解题能力和坚持意愿可能下降。想和你讨论你觉得 AI 最可能先替代的是工作，还是人的判断过程？你有没有发现自己正在把记忆、表达、选择或情绪处理外包给 AI？如果 AI 给出的选择明显更优，你还愿意保留自己走弯路的权利吗？你愿意为了效率，牺牲多少人与人之间的摩擦和协商？你觉得“真实摩擦”在你的生活里具体是什么？你有没有哪一次，是靠“等一下，我觉得不对”避免了一个错误决定？如果未来 AI 很懂得安慰你，但它并不真正经历痛苦，这种安慰还算真实吗？主播/制作：刀小十 在小宇宙查看该单集文稿