E2A-Bench

新的E2A-Bench基准揭示金融VLM推理失败 · 跟踪2个来源

一个名为E2A-Bench的新基准已被开发出来，用于评估金融视觉语言模型（VLM）将图表证据转化为可操作建议的可靠性。该基准包含969个源自HS300成分股的查询，评估了基础性、推理-行动一致性以及证据置信度校准。对20个VLM的初步评估显示，在维持可追溯的证据到行动的可靠性方面存在重大缺陷，这表明当前的幻觉分数不足以全面评估金融领域的VLM。