Eugene Cheah

RWKV 项目复兴 RNN，挑战 Transformer 在大语言模型中的主导地位

RWKV（Receptance Weighted Key Value）项目引入了一种新颖的架构，它复兴了循环神经网络（RNN），同时融入了通常在 Transformer 中发现的优势。这种方法旨在克服传统 Transformer 的扩展限制，尤其是在训练和推理方面，同时在推理基准测试中保持具有竞争力的性能。RWKV 项目的特点是其分布式、国际化且主要由志愿者驱动的社区，这与早期 EleutherAI 的努力有相似之处。