首次开源这一强大算法，我们向Meta致敬

出品| 虎嗅科技组脸书改名Meta后，它的“财务厄运”并未因此终止，但技术作风却一如既往的大胆。虽然自今年2月以来，公司股价已经下跌30%，市值损失超过2500亿美元。但是，这并没有影响开发者们的精神世界与工作动力。上周，一小撮Meta程序员的疯狂举动，在全球AI开发者群体中引发了巨大骚动。当地时间5月3日，Meta AI 实验室高调宣布，将开放自己的语言大模型 OPT，且毫无保留地贡献出所有代码。不夸张地说，在人工智能圈，这算得上是一个里程碑事件。这个被称为OPT的大规模语言模型，自建立以来，各项参数与能力便精准对标OpenAI 的GPT3，甚至连缺点都是。后者在全球学术界建立的赫赫声望和随处可见的网络小说续写作品，已经不必再过多赘述。简而言之，这是一种利用巨量网络文本与书籍进行训练，可以将单词和短语串在一起组成精彩文本的深度学习算法模型。它能生成复杂的句子，甚至有时候读起来与人类撰写的毫无差别。在某种程度上，它所具备的人工文本模仿能力，被视为人类通往真正机器智能道路上的一个巨大突破口。然而，“培育”大模型的代价，是成千上万块显卡以及昂贵的人力成本。因此，许多学者都认为，把大模型开放出来这种事，在“游走于垄断边缘”的大型科技公司身上几乎不可能发生。譬如，专家曾粗略估算过，OpenAI 的GPT3至少投入了1000万美元。后来他们为了摆脱入不敷出的现状，将GPT3作为一项付费服务来推广，也就是只提供API接口，但不会开放模型本身和底层代码。然而，Meta则表示，他们会把不同参数规模的训练模型以及“OPT如何建造和训练”的详细信息分发给研究人员。其中，也包括了一份超过100页的算法训练日志，日志中包括了实验室记录下的每一个错误与崩溃现象，以及训练和添加数据的过程，还有有效与无效策略。他们在OPT的论文摘要里鲜明地表达了自己态度，摘要写道：“考虑到计算成本，如果没有大量资金，这些模型很难复制。对于少数通过api可调用的模型，如果不能获得完整的模型权重，就难以进行研究”，“因此，我们推出了OPT，目标是全面且负责任地分享给感兴趣的研究人员。”他们提到的“少数通过api可调用的模型”，暗指的就是GPT3。一位中国开发者在查阅了MetaAI的网站后，告诉虎嗅，这的确是一个好消息。他说，“从现有数据来看，整个训练代码都被贴出来了。Meta很了不起。”这一次开源，毫无意外受到了学术界的高度认可，甚至有科学家将其称之为“一个伟大的举动”。究其原因，一方面是，一项强大的技术，如何在一个封闭的企业精英团队中诞生，一直是大众好奇的焦点；另一方面，“开源”的优势在于利用集体力量来解决问题，因此长期被硅谷的有识之士所倡导。因为更多人参与进来，技术突破便来得越快，漏洞也就填得越快。尽管大部分人几乎只记住了GPT3，因为它是迄今为止最好的“通才”。但实际上，除了Meta，谷歌和微软都曾在2020年推出过相似的大模型，但由于都是“关起家门”做私密研究，因此在“透明度”方面饱受诟病。譬如，去年的“谷歌人工智能伦理学科学家辞退事件”便引发了长达一年的“批判海啸”，而这一切都是因一篇探讨“语言大模型暗藏重大隐患”的论文而起。没错，GPT3们不仅缺陷多多，而且非常致命。然而，“越是危险，越不能回避危险”。这也是Meta自称选择开放的关键原因之一。Meta AI 的负责人承认，团队解决不了所有问题，包括文本生成过程中的伦理偏见和恶毒词句。因此，他们诚邀天下豪杰，共同学习；而实际上，这也是一种彼此监督。他说，“我认为，建立信任的唯一途径是极端透明。”我们查看了Meta提供的下载通道，发现实验室根据每个模型的参数规模设立了不同的下载条件：300亿参数以下的可随意下载；而1750亿参数值的模型，也就是与GPT3大小相同的OPT，则需要填写申请表证明用于非商业用途，获得批准后方可下载。当然，理论上这个做法是可圈可点的，但一个更大的问题出现了：如果你要使用这个1750亿参数值的大模型，就意味着你的计算机要带得动它。换句话说，你需要拥有足够的算力。当然，这里的算力可以直接与“财力”划等号。一个开发者向虎嗅称赞了Meta的做法，但他认为，对于普通开发者群体，该模型仍然是不可承受之重。 因此，截至目前，这个开源大模型，仍然是属于大型科技公司或是拥有充足资金的大型实验室与学术机构的“内部游戏”。事实上， GPT3一直难以解决的商业化难题，是让绝大部分企业呈观望之势的根本原因。尽管大型语言模型已经是过去几年来人工智能领域最热门的趋势之一，但至少目前来看，除了品牌营销优势，OpenAI 的投入产出比，很不尽如人意。此外，在西方社会的普遍认知中，比起技术突破，它们带来的巨量能源消耗更是一种原罪。有一位科学家在2019年发表的论文中，就揭露了大型语言模型在碳排放上超乎想象的环境破坏力。他们发现，用一种神经结构搜索方法训练出的特定语言模型，会产生284吨二氧化碳，这大约是5辆小轿车长达5年的排放总量；谷歌搜索引擎的语言模型训练，则产生了0.65吨二氧化碳。这位科学家提醒说，这相当于一位乘客从纽约到旧金山往返航班的碳排放量。更需要注意的是，因为这只是在一次性训练中的模型成本，这些数字都应当被视为“最保守数值”。因此，考虑到能源效率与环境成本，西方不少科学家与开发者认为，在某种程度上，大模型的训练开发也是在允许大型企业掠夺环境资源，而这些成本，将会平摊在所有人身上。因此，他们并不希望企业加入到大模型队列中。很多时候，人们会对开源模式发出这样的质疑：有什么能比“两个来自竞争对手公司的员工，为同一个目标协作，还免费送出自己成果”更不可思议的事情？譬如，很多人都知道，安卓系统就是基于开源的Linux操作系统。这意味着，任何人都可以查看绝大多数安卓手机的核心代码，修改并分享它。事实上，“开源”正是为不同利益群体，提供一种“利远大于弊”的长期技术合作方式。你增加的独特元素我能使用，那么我迭代的版本你也不会错过。这种“互利”态度，让看似不可思议的“协作”成为可能。如今，Linux 就是由全世界超过15000名程序员共同开发和维护。而在人工智能领域内，最有名的案例则是谷歌的深度学习开源框架Tensorflow，它已是开发人工智能应用程序的标准框架之一。非常有趣的是，当Tensorflow在2015年开源时，外界也是发出了跟这次Meta开源大模型同样的疑问：即作为开发者，谷歌为什么要放弃对于自己搜索业务如此重要的东西？一部分原因上面讲过。也就是说，外部开发人员把软件做的更好，该软件就能适应谷歌未来商业化的很多需要。就像当下，大模型商业化还尚不明朗，那么前期工作的开放性与主导性，就变得至关重要。另外，我们永远不要小看开源软件为企业带来的巨大营销价值。它最一流的“带货效果”，便是吸引和留住一众顶尖人才。这样一来，不知道为大厂省下了多少高昂的人力资本。这也与当下Meta开始收缩招聘规模的现状，做了完美呼应。当然，优秀的开源软件打的时间差和聚拢效应，将会使后来者很难在短时间内形成气候。因此，Meta这一决定，将会让OpenAI陷入一个尴尬的境地。OpenAI虽然名声很大，但它毕竟是一家创业公司。从另一个角度看，在寻找商业落地的过程中，大厂通过开放和免费等手段遏制对手，取得胜利，这种事情似乎永远都在发生。但好处在于，这会让一家公司意识到，在商业世界，没有一分钟时间可以用来顿足。商业洞听，是虎嗅推出的一档音频节目，精选虎嗅耐听的文章，分享有洞见的商业故事，我们下期再见！