test-time regression

新的测试时回归方法增强了AI模型的序列压缩

研究人员推出了一种新颖的语言和多模态模型序列压缩方法TTR-Compressor。该方法将压缩视为一个测试时回归问题，其中输入令牌定义了一个回归任务，拟合的系数作为压缩表示。TTR-Compressor是端到端学习的，并在前向传播中以闭式形式高效计算，为传统的池化和投影方法提供了一个通用的替代方案。评估表明，TTR-Compressor在多模态大语言模型的块状稀疏注意力和视觉令牌合并方面增强了性能，优于现有技术并减少了令牌使用。