研究人员推出 LapMerge,这是一种新颖的可微分算子,旨在高效地缩减现代视觉和语言模型中的令牌序列。该方法通过基于拉普拉斯核学习到的质量分布,将序列划分为固定数量的段,从而解决了信息丢失和计算成本之间的权衡。LapMerge 在前向和后向传播中均实现了线性时间复杂度,允许在不重新训练的情况下动态调整预算,并提供令牌级别的分配图。在视觉和视觉-语言任务上进行测试,LapMerge 在性能上匹配或超越了现有的令牌缩减器,同时速度显著更快,尤其是在令牌顺序至关重要的长序列上。 AI
影响 LapMerge 为处理视觉和语言模型中的长序列提供了显著的加速,有望降低计算成本并支持新应用。
排序理由 该集群包含一篇详细介绍 AI 模型中令牌合并新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- Connected Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Laplace kernel
- LapMerge
- Litmaps
- Magdalena Trędowicz
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →