【AI星火】被质疑、抄袭、魔改，非主流大模型的诞生之路

本文是虎嗅 《AI星火》系列的第7篇稿件，今天故事的主人公RWKV创始人彭博，在Transformer架构大行其道的当下，他一个人花了三年时间构建了RWKV架构——一种不同于Transformer架构的RNN架构。在诸多大模型公司都选择与OpenAI相同的Transformer架构时，彭博用了三年时间走上了另一条路，将Transformer改写成RNN形式，保留了较低的时间空间复杂度。值得一提的是，虽然他们走的是完全不同于OpenAI的路子，但2023年春节，彭博收到了“竞对”OpenAI的入职邀请。元始智能联合创始人罗璇解释说，这能够说明他们确实有颠覆OpenAI的可能性，而这个offer更像是一张用以招安的投名状，是对彭博一种另类的“认同”。但业内也有一些声音，认为RWKV架构与Transformer架构并没有本质上的区别。本期，我们来听听彭博的非主流大模型的诞生之路。【时间轴】00:10 非主流大模型RWKV01:52 少有人走的路05:19 跳出被动循环07:27 非共识的相遇