研究人员开发了一种新颖的、无需训练的方法ReMo,旨在显著降低处理音频、视频和文本的全模态大语言模型(Omni-LLMs)的输入令牌成本。该方法通过压缩冗余的视觉令牌来实现其目标,这些令牌构成了处理音频、视频和文本的全模态大语言模型输入数据的大部分。ReMo在不同模态之间重新分配信息,并用简洁的文本描述替换对象级别的视觉令牌,同时在视听任务上保持可比的准确性。 AI
影响 该方法通过优化视觉令牌处理,有可能显著降低多模态大语言模型的推理成本。
排序理由 该集群包含一篇详细介绍大语言模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →