研究人员开发了一种名为用于高效自适应谱递归的共享相位和保持控制(SPARC)的新方法,以改进序列模型。SPARC使用最小的输入相关信号来管理内存保持和相位旋转,为Transformer提供了一种更有效率的替代方案。该方法在连续控制和序列分类任务中展示了性能提升,并与现有的循环模型相比,显著降低了在NVIDIA Blackwell GPU上的训练延迟。 AI
影响 SPARC提供了一种更有效率的序列建模方法,有可能降低AI应用的计算成本并加速训练。
排序理由 这是一篇详细介绍序列模型新方法的 ist 研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →