Promša

新的ProMSA代理增强了知识驱动的视觉问答能力

研究人员推出了一种新颖的代理ProMSA，用于知识驱动的视觉问答（KB-VQA）。与依赖固定检索流程的先前方法不同，ProMSA在图像搜索、文本搜索或停止之间进行渐进式选择，并设有明确的工具调用预算和去重机制以防止冗余搜索。该代理通过结合用于工具使用格式的拒绝采样监督微调（SFT）和一种称为TN-GSPO的序列级强化学习（RL）目标进行训练。在E-VQA和InfoSeek数据集上的实验表明，与现有的检索增强生成（RAG）和代理基线相比…