FinBench

新基准评估金融领域AI代理的不稳定性和校准性

引入了两个新基准DFAH-Bench和FinBench，用于评估AI代理在金融决策中的表现。DFAH-Bench侧重于衡量代理可观察到的行为不稳定性，发现即使决策一致性高的模型在其工具使用轨迹中也可能表现出显著的分歧。另一方面，FinBench通过在严格的时间门控下评估概率校准和不确定性质量，以防止前视偏差，从而解决金融预测中的置信度-能力差距。这两个基准旨在为在复杂金融环境中运行的AI代理提供更鲁棒的评估方法。