SciMIF

新研究通过代理合成和科学基准测试解决多模态指令遵循问题

两篇新研究论文介绍了改进 AI 模型多模态指令遵循能力的新方法。第一篇论文 VISA 提出了一个代理框架，通过分析图像、生成指令并使用 LLM 裁判进行验证来迭代地合成和优化训练数据。第二篇论文 SciMIF 提出了一个专门用于评估科学领域多模态指令遵循能力的基准，强调了化学等领域的挑战，并指出模型规模并不总是与约束遵循能力的提高相关。