FinRank

新的FinRank基准测试AI在金融答案中引用证据的能力

研究人员推出了FinRank，这是一个新的基准，旨在通过关注答案在SEC文件中特定证据的依据来评估金融问答系统。与主要评估答案正确性的传统方法不同，FinRank强调识别正确的支持性段落、报告期和披露上下文。该基准包含从22家公司10-K和10-Q文件中提取的1,185条手动创建的问答记录，并包含手工策划的硬否定样本来挑战系统。初步结果表明，即使是先进的模型也难以完成这项关注来源的检索任务，这凸显了对更强大的金融AI系统的需求。