Walker Percy

新的SPARC方法提高了序列模型效率和训练速度

研究人员开发了一种名为用于高效自适应谱递归的共享相位和保持控制（SPARC）的新方法，以改进序列模型。SPARC使用最小的输入相关信号来管理内存保持和相位旋转，为Transformer提供了一种更有效率的替代方案。该方法在连续控制和序列分类任务中展示了性能提升，并与现有的循环模型相比，显著降低了在NVIDIA Blackwell GPU上的训练延迟。