MHR-Router

新的MHR-Router框架通过自适应路由增强VLM推理能力

研究人员推出了一种名为MHR-Router的新型框架，旨在提高视觉语言模型（VLM）的推理能力。该系统通过整合视觉证据和特定专家的失败模式，解决了在VLM中为复杂的多模态查询选择最合适专家所面临的挑战。MHR-Router采用两阶段过程：首先，它将多模态特征融合到一个统一的查询表示中；其次，它采用检索机制来访问专家的成功和失败记忆，从而实现自适应专家选择。