EPSBench

新基准评估LLM代理的盈利预测准确性

研究人员推出了EPSBench，这是一个旨在评估大型语言模型（LLM）代理在公司盈利预测方面能力的新基准。该基准要求代理分析财务文件、财报电话会议记录和新闻，以估算损益表驱动因素，然后将其转换为GAAP稀释每股收益（EPS）。测试了六个模型，其中三个在点预测误差方面与分析师共识没有显著差异，而另外三个表现更差。此外，大多数模型的预测区间未能达到其声明的覆盖率，通常预测过低。