FinReflectKG

新的基准 FinMultiHopQA 使用结构化证据测试 LLM 的金融推理能力

研究人员推出了 FinMultiHopQA，这是一个旨在评估金融问答中多跳推理能力的新基准。该基准包含 15,600 个问题，这些问题均基于 FinReflectKG，一个从 SEC 10-K 文件派生的知识图谱。研究还探讨了证据的结构和呈现方式如何影响 LLM 的性能，发现结构化程度较低的证据会导致正确率持续下降，尤其是在定量和跨公司推理任务中。