研究人员为视觉语言模型(VLM)开发了一种名为“LookAway”的新颖方法,该方法显著降低了处理长视频的计算成本。模型首先会写下带有时间戳的笔记,然后进行推理,而无需持续重新读取视频数据,也无需直接访问视频的键值缓存。这种方法在Qwen3.6-27B上进行了测试,在大幅降低解码成本的同时保持了准确性。通过强化学习进行进一步微调,模型甚至可以更早地移开目光,用更少的KV读取处理更多的Token,同时实现与处理整个视频的模型相当的准确性。 AI
影响 降低了处理长视频的计算成本,可能使VLM应用更高效、更易于访问。
排序理由 关于视觉语言模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →