SpectraLDS

SpectraLDS 为线性动力学系统提供可证明的蒸馏

研究人员开发了 SpectraLDS，一种具有可证明准确性保证的线性动力学系统（LDS）蒸馏新方法。该方法利用了近期在通过谱变换将 LDS 表示为可学习卷积方面的进展。SpectraLDS 允许对这种表示进行反演，从而实现端到端的凸优化过程，在保持预测准确性的同时，将每 token 的推理效率显著提高到恒定时间和空间复杂度，而与序列长度无关。该方法在集成到序列预测架构中时显示出潜力，提高了语言建模等任务的效率。