Apple 研究人员开发了ParaRNN，一个能够并行训练非线性循环神经网络（RNN）的新框架。这一进展克服了RNN训练中历史性的顺序瓶颈，实现了665倍的加速，并能够创建参数量达70亿的RNN，其性能可与Transformer相媲美。ParaRNN的代码库已作为开源工具发布，以促进在高效序列建模方面的进一步研究，特别是在资源受限环境下的LLM。 AI
影响 能够更高效地训练和部署LLM，可能在某些应用中减少对Transformer架构的依赖。
排序理由 详细介绍RNN训练新方法的学术论文。
在 Apple Machine Learning Research 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Recurrent Neural Networks (RNNs) are naturally suited to efficient inference, requiring far less memory and compute than attention-based architectures, but the sequential nature of their computation has historically made it impractical to scale up RNNs to billions of parameters. …
<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://pub.towardsai.net/rnns-cannot-think-what-transformers-think-cheaply-iclr-2026-proved-the-gap-is-exponential-abb2ee25996f?source=rss----98111c9905da---4"><img src="https://cdn-images-1.medium.com/max/1536/…