研究人员推出了一种新颖的语言和多模态模型序列压缩方法TTR-Compressor。该方法将压缩视为一个测试时回归问题，其中输入令牌定义了一个回归任务，拟合的系数作为压缩表示。TTR-Compressor是端到端学习的，并在前向传播中以闭式形式高效计算，为传统的池化和投影方法提供了一个通用的替代方案。评估表明，TTR-Compressor在多模态大语言模型的块状稀疏注意力和视觉令牌合并方面增强了性能，优于现有技术并减少了令牌使用。 AI
影响 这项新的压缩技术可能带来更高效、性能更强的语言和多模态AI系统。
排序理由 该集群描述了一篇新研究论文，其中详细介绍了一种用于AI模型序列压缩的新颖方法。
在 Hugging Face Daily Papers 阅读 →
- block-wise sparse attention
- language models
- learned projections
- MLP merger
- multimodal models
- pooling
- RULER
- test-time regression
- TTR-Compressor
- visual token merger
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
