新的 ClustRS 算法提升了 VLM 的效率和鲁棒性

研究人员开发了 ClustRS，这是一种新颖的、无需训练的两部分算法，旨在提高视觉语言模型（VLM）的效率和鲁棒性。该方法采用注意力加权聚类方法来识别和选择代表性的视觉令牌，然后进行去噪步骤来精炼这些令牌。ClustRS 算法显著减少了所需的视觉令牌数量，使得 LLaVA 等 VLM 更适合在边缘设备上部署，并提高了它们对各种图像噪声条件的抵抗能力。 AI

影响 该方法可以实现 VLM 在资源受限设备上的更高效部署，并提高它们在存在噪声图像的实际条件下的性能。

排序理由 该集群包含一篇详细介绍 VLM 新算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Baptiste Rossigneux
• ClustRS
• Hugging Face
• Llava
• LLaVA-1.5-7B
• LLAVA-onevision
• MM-VET
• ScienceQA-IMG

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →