研究人员推出了EPSBench,这是一个旨在评估大型语言模型(LLM)代理在公司盈利预测方面能力的新基准。该基准要求代理分析财务文件、财报电话会议记录和新闻,以估算损益表驱动因素,然后将其转换为GAAP稀释每股收益(EPS)。测试了六个模型,其中三个在点预测误差方面与分析师共识没有显著差异,而另外三个表现更差。此外,大多数模型的预测区间未能达到其声明的覆盖率,通常预测过低。 AI
影响 该基准有望推动LLM代理在金融分析能力方面的改进,可能影响投资策略和财务报告。
排序理由 该集群包含一篇介绍用于评估LLM代理的新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →