人工智能经典《苦涩的教训》聊聊背后的思考

今天要介绍的这篇文章《The Bitter Lesson 苦涩的教训》是由知名计算机科学家，阿尔伯塔大学、DeepMind的神经网络专家Rich Sutton 在 2019 年发表的，主要讨论了在人工智能研究中一个重要的观察：当简单的算法能够利用大量的计算资源时，往往会胜过依赖于人类专家洞察力的复杂算法。在回顾AI历史上一些关键进展时，Sutton指出，虽然研究人员曾多次尝试通过设计复杂且模仿人类理解的算法来提升机器学习模型的表现，但通常更简单、更基本的方法，只要能通过增加计算能力进行扩展往往能取得更佳效果。他强调了规模和算力的重要性，并认为未来的研究应该更多依赖于扩算力，而非复杂的设计。OpenAI 在2021年的论文《神经语言模型的缩放法则 Scaling Laws for Neural Language Models》讨论了AI模型的性能如何随模型大小、数据集大小和训练计算量的规模提升而提升。今天，在缩放法则（Scaling Laws）的加持下，简单的Transformer架构让GPT等大语言模型涌现出了“智能”，也展示出了AGI通用人工智能的可能性。现在就让我们来读一读，回顾这篇经典文章。苦涩的教训Rich Sutton  2019年3月13日我们从70年的人工智能研究中可以得出的最大教训是，利用计算的通用方法最终是最有效的，而且差距很大。其根本原因在于摩尔定律，即集成电路上可容纳的晶体管数量每隔18-24个月会翻倍，从而使芯片性能指数倍增。大多数人工智能研究都是在假设智能代理可用的算力资源是恒定，在这种情况下，利用人类知识是提高性能的少数行之有效的方法之一，但在略长于典型研究项目的时间内，大规模的计算量又不可避免地会变得可用。研究人员寻求在短期内实现改进，试图充分利用他们对特定领域的人类知识来节省算力成本，但从长远来看，唯一重要的是利用计算资源。这两者不必相互对立，但实际往往如此。由于对一种方法的投资存在心理承诺，我们在一个东西上花费大量的时间，就不会在另一个上花费更多时间。而且，基于人类知识的方法往往会使方法复杂化，使其不太适合利用计算的通用方法。这些案例不胜枚举，我称之为苦涩的教训。作为人工智能研究者，我们学习这些教训是有指导意义的。下面，我们来回顾其中一些最知名的案例。在1997年，计算机国际象棋领域见证了一个历史性的事件——计算机通过大规模深度搜索击败了世界冠军卡斯帕罗夫。当时，大部分研究者都倾向于利用人类对棋局结构的深入理解来设计算法，这一失败让他们颇感挫败。当一个相对简单的基于搜索的方法，结合先进的硬件和软件展示出惊人效力时，依赖人类知识的方法显得力不从心。这些研究人员对于“蛮力”搜索的胜利持怀疑态度，认为虽然这次有效，但它并非一种普遍适用的策略，也不符合人类下棋的风格。他们曾希望能通过更贴近人类思维的方法取得胜利，因此对结果感到失望。计算机围棋的研究历程展示了一种类似的发展模式，但这一过程比其它领域晚了大约20年。初期，研究者们尝试通过利用人类的棋局知识和游戏特征来减少搜索需求，但随着搜索技术在规模上的有效应用，这些努力最终被证明是无效甚至有害的。同样，自我对弈的方式学习价值函数也显示出其重要性，这种方法不仅应用于围棋，在国际象棋等许多其他游戏中也同样适用，尽管在1997年首次战胜世界冠军的程序中，学习的作用不大。自我对弈不仅是学习的一种方式，它像搜索技术一样，使得可以利用大量计算资源。搜索和学习是利用大规模计算的两个关键技术，在计算机围棋和国际象棋的研究中，尽管研究人员最初依赖于人类的理解来减少搜索的需要，但最终还是通过采用搜索和学习技术取得了显著的成就。在语音识别领域，20世纪70年代DARPA主办的早期比赛中，参赛者采用了包括人类发音知识在内的各种特定方法，例如对单词和音素的认识。相对的，一些新的统计方法采用了更多的计算，并基于隐马尔可夫模型（HMMs）进行操作。结果显示，统计方法优于那些基于人类知识的方法，这一发现推动了自然语言处理领域的重大变革，并在随后的几十年中逐渐成为主流。深度学习在语音识别中的崛起标志着这一发展方向的进一步演进。深度学习方法较少依赖人类知识，而是利用大量计算资源，通过在庞大的训练数据集上进行学习，显著提升了语音识别系统的性能。研究人员原本希望开发出能模仿人脑工作方式的系统，并尝试将这种理念应用于他们的系统设计中，但这种方法最终被证明是适得其反，甚至是对时间的浪费。尤其是在摩尔定律推动下计算能力大幅提升并找到有效利用方式的背景下，这种做法更显得没有必要。计算机视觉领域也遵循了相似的发展模式。在早期，研究者们试图通过识别边缘、圆柱形等广义结构，或使用SIFT特征来处理视觉信息。然而，这些方法如今已被淘汰。现代的深度学习神经网络主要采用卷积技术和某些类型的不变性处理，并且在性能上有了显著提升。这一趋势给我们的教训是深刻的。作为一个领域，我们似乎还没有完全吸取这一教训，因为我们依然重复着相同的错误。要真正理解这些错误的诱惑，并有效地避免它们，我们需要认识到依据我们所认为的思考方式构建方法最终可能不会奏效。这是一个我们必须接受的苦涩教训。从这些历史经验中，我们汲取了一些重要教训：1 )人工智能研究人员经常尝试将人类的知识整合到他们的智能系统中。2) 短期内，这种方法似乎总是有益的，并且能给研究人员带来满足感，但长远来看，它可能导致发展停滞，甚至阻碍进一步的创新。3) 真正的突破通常来自于完全相反的策略，即通过扩展搜索和学习能力来充分利用计算资源。尽管成功令人欣慰，但这种成功往往带有苦涩，因为它是在放弃了受青睐的、以人为中心的方法后才实现的。从这些经验中我们应该学习到的第一个重要启示是，通用方法的强大力量在于其扩展性，即使在可用计算资源极大增加的情况下也能持续有效。搜索和学习是目前看来能在这种环境下无限扩展的两种方法。第二个重要启示是，关于大脑的实际工作原理的极端的复杂性；我们应该放弃试图以简化的方式来理解大脑的工作，如简单地处理空间、物体或对称性等。这些概念都是外部世界中复杂性的一部分，本质上是难以简化的。试图将这些复杂性内置于系统中是不切实际的。相反，我们应该专注于内置能够探索并捕捉这种任意复杂性的通用方法。这些方法的核心优势在于它们能找到有效的近似解决方案，但寻找这些解决方案的过程应该是自动的，而不是依赖于我们的直接输入。我们希望人工智能代理能够自主探索和发现，就像我们一样，而不是仅仅复制我们的现有知识。将我们的发现硬编码到AI系统中，不仅限制了系统的学习潜能，还加重了我们理解这些发现过程复杂性的困难。观点Rich Sutton《苦涩的教训》原文到这里就结束了，我想聊聊我自己的观点和感悟：人类总是习惯将自己对于世界的认知注入于亲手打造的系统之中，但是历史一次又一次的证明这种有效性只是短期的，从地心说到日心说，从经典力学到量子力学，从专家系统到大语言模型，当每一次科学革命到来之时，那些越是符合直觉的经典理论越是岌岌可危。《金刚经》有云：“一切有为法，如梦幻泡影”，我们当前观察到现象和规律，可能都只是暂时的。那这个世界运转的逻辑到底是什么？设想一下，如果你是这个宇宙的程序员，拥有无穷的时间和算力资源，你会如何设计这个世界？ 智能设计论者说：沙漠中不会凭空产生精美的手表，所以精密的人体一定是被有意设计出来的。但是你作为一个想要摸鱼的程序员，其实对于细致入微的设计全宇宙中所有的生命体可能并没有太大兴趣，你只关心能否用最简单的算法让DNA持续地演化，演化出智能体，再让他们做那些你不想做的事情。遵循“缩放法则(Scaling Laws)”依然是你最佳的选择，因为你不用操心这个宇宙的每一个角落的细节，你只要设计最基本的法则，并允许系统在这些法则指导下自我组织和进化，剩下的事情交给无限的时间和算力就好了。正如480年前，哥白尼坚信上帝相信简洁优雅的规则，因此有了日心说：“天体运动的真实模型应该是基于数学的完美和简洁，而日心模型相比地心模型在数学上更为简洁和优雅”。而今天，AI领域的进展告诉我们“简洁优雅的数学模型”依然有效，只要简洁的设计和上大尺度的数据训练，就能拥有强大的鲁棒性和智能性的系统。佛法有云：“缘起性空；自见成佛”。这可能才是我们这个世界的本来面目。欢迎订阅我的播客和知识星球。