Omni-LLMs

新的基准和代理框架增强了 LLM 的视听推理能力

研究人员推出了 MOV-Bench，这是一个旨在评估 Omni-LLM 多跳视听推理能力的新基准。该基准包含 519 个问题，需要对分散的音频和视觉证据进行复杂推理。为了解决当前模型的局限性，该团队还开发了 AOP-Agent，这是一个代理框架，可以在无需额外训练的情况下增强 Omni-LLM 的主动感知能力。实验表明，AOP-Agent 显著提高了推理性能，尤其是在处理更长的视频和更具挑战性的问题时。