【AI星火】被质疑、抄袭、魔改,非主流大模型的诞生之路

【AI星火】被质疑、抄袭、魔改,非主流大模型的诞生之路

2024-10-15    09'37''

主播: 虎嗅·商业有味道

357 1

介绍:
本文是虎嗅 《AI星火》系列的第7篇稿件,今天故事的主人公RWKV创始人彭博,在Transformer架构大行其道的当下,他一个人花了三年时间构建了RWKV架构——一种不同于Transformer架构的RNN架构。 在诸多大模型公司都选择与OpenAI相同的Transformer架构时,彭博用了三年时间走上了另一条路,将Transformer改写成RNN形式,保留了较低的时间空间复杂度。 值得一提的是,虽然他们走的是完全不同于OpenAI的路子,但2023年春节,彭博收到了“竞对”OpenAI的入职邀请。元始智能联合创始人罗璇解释说,这能够说明他们确实有颠覆OpenAI的可能性,而这个offer更像是一张用以招安的投名状,是对彭博一种另类的“认同”。 但业内也有一些声音,认为RWKV架构与Transformer架构并没有本质上的区别。 本期,我们来听听彭博的非主流大模型的诞生之路。 【时间轴】 00:10 非主流大模型RWKV 01:52 少有人走的路 05:19 跳出被动循环 07:27 非共识的相遇