Chung-En Johnny Yu

新基准和框架提升多模态AI推理和可靠性

研究人员开发了新的基准和框架，以提高多模态AI智能体的可靠性和基于证据的推理能力。Sci-MMR是科学推理的基准测试，突显了当前模型在答案准确性和证据恢复之间存在的显著差距，并指出了证据获取和整合中的瓶颈。同时，CUSP提供了一种无需训练的方法来量化多智能体多模态系统中的集体不确定性，通过分析模型响应的分散性和冲突来提高可靠性。V-Retrver引入了一个智能体推理框架，该框架利用外部工具主动获取视觉证据，以提高多模态检索的准确性和可靠性。