研究人员推出了 FinMultiHopQA,这是一个旨在评估金融问答中多跳推理能力的新基准。该基准包含 15,600 个问题,这些问题均基于 FinReflectKG,一个从 SEC 10-K 文件派生的知识图谱。研究还探讨了证据的结构和呈现方式如何影响 LLM 的性能,发现结构化程度较低的证据会导致正确率持续下降,尤其是在定量和跨公司推理任务中。 AI
影响 该基准有望推动 LLM 在金融推理和证据解读能力方面的改进。
排序理由 该集群描述了一个新的学术基准和相关的研究论文。 [lever_c_demoted from research: ic=1 ai=1.0]
- Abhinav Arun
- alphaXiv
- arXiv
- DagsHub
- FinMultiHopQA
- FinReflectKG
- Gotit.pub
- Hugging Face
- ScienceCast
- SEC 10-K filings
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →