Yidong Jiang

新的 Fin-RATE 基准测试 LLM 处理复杂的金融文件

研究人员推出了 Fin-RATE，这是一个新的基准，旨在评估大型语言模型 (LLM) 使用 SEC 文件在真实世界金融分析任务上的表现。与之前的基准不同，Fin-RATE 评估 LLM 跨多个文档、报告期和公司实体综合信息的能力，并对其性能瓶颈进行分类，例如检索失败和生成不准确。对 17 个 LLM 的基准测试显示，随着任务变得更加复杂，性能显著下降，从单文档推理转向纵向和跨实体分析时，准确率下降了 18% 以上。