FinVerBench

新的FinVerBench基准揭示了大型语言模型在财务报表验证方面存在困难

研究人员推出了一项名为FinVerBench的新基准，旨在评估大型语言模型在验证财务报表方面的准确性和校准能力。该基准由标普500公司提交的SEC文件构建，将错误分为算术、跨报表关联、同比和幅度扰动等类别。对十四个大型语言模型的初步评估显示出显著的挑战，许多模型在干净报表上表现出高误报率，并且召回率因渲染选择而异，这凸显了财务报表验证的复杂性远超简单的算术运算。