介绍:
本文是虎嗅 《AI星火》系列的第7篇稿件，今天故事的主人公RWKV创始人彭博，在Transformer架构大行其道的当下，他一个人花了三年时间构建了RWKV架构——一种不同于Transformer架构的RNN架构。
在诸多大模型公司都选择与OpenAI相同的Transformer架构时，彭博用了三年时间走上了另一条路，将Transformer改写成RNN形式，保留了较低的时间空间复杂度。
值得一提的是，虽然他们走的是完全不同于OpenAI的路子，但2023年春节，彭博收到了“竞对”OpenAI的入职邀请。元始智能联合创始人罗璇解释说，这能够说明他们确实有颠覆OpenAI的可能性，而这个offer更像是一张用以招安的投名状，是对彭博一种另类的“认同”。
但业内也有一些声音，认为RWKV架构与Transformer架构并没有本质上的区别。
本期，我们来听听彭博的非主流大模型的诞生之路。
【时间轴】
00:10 非主流大模型RWKV
01:52 少有人走的路
05:19 跳出被动循环
07:27 非共识的相遇
大家还在听
