研究人员开发了 OmniFocus，一种用于压缩全模态大语言模型（OmniLLMs）令牌序列的新颖方法。这种无需训练的方法通过独立估计视频和音频证据的重要性，解决了处理音频和视频输入的高推理成本问题。在 Qwen2.5-Omni 模型系列上的实验表明，OmniFocus 在低令牌保留率下仍能保持强劲性能，优于现有方法，并实现了显著的加速，同时准确性损失极小。 AI
影响 该方法可以显著降低全模态 LLM 的推理成本，使其在实际应用中更加实用。
排序理由 该集群包含一篇研究论文，详细介绍了 LLM 令牌压缩的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
