RefCOCO+
PulseAugur coverage of RefCOCO+ — every cluster mentioning RefCOCO+ across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的SVCR框架增强了弱监督指代表达理解
研究人员开发了一个名为结构化视觉组合表示（SVCR）的新框架，以改进弱监督设置下的指代表达理解（REC）。该框架显式地建模单个对象嵌入和成对关系嵌入，创建结构化视觉表示。然后，组合对齐机制将这些视觉表示与其对应的文本嵌入进行匹配，从而在弱监督下实现更准确的视觉-文本匹配。在RefCOCO等标准数据集上的实验表明，SVCR取得了最先进的性能，突显了显式结构化视觉表示对WREC的好处。
-
HKVLM 模型通过分离定位和语言来改进视觉推理
研究人员开发了 HKVLM，一种新颖的视觉推理方法，它将定位与语言生成分离开来。该模型利用一个冻结的语言对齐检测器和一个冻结的语言模型，通过一个轻量级的对齐钩连接。该钩通过对比检索和二分匹配将语言查询绑定到区域建议，旨在提高视觉问答和目标检测任务的忠实度。该系统专为小数据设置而设计，并包含一个忠实度否决机制，以防止命名不支持的对象，从而显著降低幻觉率。
-
CoLA框架通过双路径LoRA增强多模态AI适配
研究人员推出CoLA（Cross-Modal Low-rank Adaptation），一个旨在高效适配基础模型以用于多模态任务的新框架。与现有方法分别独立适配各模态不同，CoLA在标准的模态内适配路径之外，增加了一条模态间适配路径。这种双路径方法可以在不干扰模态特定学习和跨模态学习的情况下实现有效适配。在视觉语言和音频视觉基准上的评估显示，CoLA的性能分别比标准LoRA高出约3%和2%，同时保持了参数效率。
-
研究人员寻求arXiv推荐以支持其Locate-SAM2计算机视觉论文
两位独立研究员正在为其关于名为Locate-SAM2的新型计算机视觉系统的论文寻求推荐。该系统通过一个轻量级适配器连接NVIDIA的LocateAnything-3B和Meta的SAM 2.1，旨在确定选择的定位器是否会影响模块化文本到掩码（text-to-mask）流程中的掩码质量。他们的工作在RefCOCO数据集上展示了具有竞争力的性能，达到了0.772 mIoU，并包含了详细的比较、消融研究以及失败案例分析。
-
新框架利用大语言模型先验增强半监督分割
研究人员推出了一种名为“学习标注”（L2L）的新型框架，旨在通过将伪标签生成视为一个可学习的过程来改进半监督指代表达分割（SS-RES）。L2L 利用多模态大语言模型提取语义空间先验，指导分层分割网络。该框架采用一种强化的伪标签选择机制，自适应地奖励有用的监督，从而在稀疏数据条件下实现分割模型和伪标签的联合优化，以提高可靠性。在标准数据集上的实验表明，L2L 的性能优于现有方法。
-
Visual Para-Thinker 将并行推理引入多模态大语言模型
研究人员推出了一种新颖的多模态大语言模型（MLLMs）并行推理框架——Visual Para-Thinker。该方法将推理深度的垂直扩展转变为并行策略，以避免探索瓶颈。该框架结合了视觉分区、Pa-Attention 和 LPRoPE，以保持路径独立性和多样化推理，并基于 vLLM 框架构建了多模态实现以实现高效处理。