RWKV（Receptance Weighted Key Value）项目引入了一种新颖的架构，它复兴了循环神经网络（RNN），同时融入了通常在 Transformer 中发现的优势。这种方法旨在克服传统 Transformer 的扩展限制，尤其是在训练和推理方面，同时在推理基准测试中保持具有竞争力的性能。RWKV 项目的特点是其分布式、国际化且主要由志愿者驱动的社区，这与早期 EleutherAI 的努力有相似之处。 AI
排序理由 发布了一种新的模型架构（RWKV），它挑战了现有的范式（Transformer），并作为一个开源项目推出。
- Alpaca
- Attention Is All You Need
- EleutherAI
- Eugene Cheah
- GPT
- Hugging Face
- OpenAI
- RNN
- RWKV
- The Pile
- Transformer
- UIlicious
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
