研究人员开发了一种名为用于高效自适应谱递归的共享相位和保持控制(SPARC)的新方法,以改进序列模型。SPARC使用最小的输入相关信号来管理内存保持和相位旋转,克服了Transformer的计算和缓存限制,同时提供像固定状态递归模型一样的恒定内存推理。该方法在连续控制和序列分类任务中展示了性能提升,并显著降低了与现有基线相比在NVIDIA Blackwell GPU上的训练延迟。 AI
影响 引入了一种更高效的序列建模方法,有望在需要长上下文处理的应用中提高性能并降低延迟。
排序理由 该条目描述了一种新方法及其在研究论文中进行的性能评估。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- Forda
- Nvidia Blackwell B200
- POP-Gym
- RG-LRU
- Shared Phase and Retention Control for Efficient Adaptive Spectral Recurrence
- SPARC
- Transformers
- Walker Percy
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →