研究人员开发了 E2A-Bench,一个旨在评估金融视觉语言模型 (VLM) 将图表证据转化为可操作建议的可靠性的新基准。该基准包含 323 个金融成分股派生的 969 个查询,评估了基础性、推理-行动一致性、证据置信度校准和方向覆盖率。对 20 个 VLM 的初步评估显示,证据到行动的可靠性存在显著的失败,这些失败被传统的标量幻觉分数所掩盖,揭示了在金融微调后方向覆盖率和被放大的买入:卖出比率存在问题。 AI
影响 该基准可以通过关注完整的证据到行动链,从而导致更强大的金融人工智能模型,提高自动化金融建议的信任度和可靠性。
排序理由 该项目描述了一个用于评估人工智能模型的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →