Winkler interval score

新基准FinBench评估LLM在金融预测中的校准能力

研究人员推出FinBench，一个旨在评估大型语言模型（LLM）在金融预测中校准和不确定性质量的新基准。与关注语义理解或点准确性的现有基准不同，FinBench通过严格的时间门控以防止前视偏差，专门解决了真实市场的时间限制和非平稳性问题。该基准利用严格的评分规则，如Brier分数和Winkler区间分数，来惩罚过度自信并评估模型预测金融回报概率和预测区间的准确性。