Q-Synth Module

新方法提升开源MLLM的细粒度图像部件定位能力

研究人员开发了一种新方法，以增强开源多模态大语言模型（MLLM）的部分级点定位能力。该方法在最近的一篇arXiv论文中有所介绍，它允许现有的MLLM将特定图像区域与文本查询准确关联起来，超越了对象级定位，实现了更细粒度的部件级识别。该技术利用了MLLM固有的注意力机制，引入了一个Q-Synth模块来合成感知定位的查询，以及一个Attention-to-Point解码器将这些查询转换为以点为中心的预测热图，同时保持原始MLLM参数冻结。