Baptiste Rossigneux

新的 ClustRS 算法提升了 VLM 的效率和鲁棒性

研究人员开发了 ClustRS，这是一种新颖的、无需训练的两部分算法，旨在提高视觉语言模型（VLM）的效率和鲁棒性。该方法采用注意力加权聚类方法来识别和选择代表性的视觉令牌，然后进行去噪步骤来精炼这些令牌。ClustRS 算法显著减少了所需的视觉令牌数量，使得 LLaVA 等 VLM 更适合在边缘设备上部署，并提高了它们对各种图像噪声条件的抵抗能力。