E2A-Bench

新基准 E2A-Bench 测试金融 VLM 在图表推理中的可靠性

研究人员开发了 E2A-Bench，一个旨在评估金融视觉语言模型 (VLM) 将图表证据转化为可操作建议的可靠性的新基准。该基准包含 323 个金融成分股派生的 969 个查询，评估了基础性、推理-行动一致性、证据置信度校准和方向覆盖率。对 20 个 VLM 的初步评估显示，证据到行动的可靠性存在显著的失败，这些失败被传统的标量幻觉分数所掩盖，揭示了在金融微调后方向覆盖率和被放大的买入：卖出比率存在问题。