FinExam-10K

新的FinExam-10K基准测试AI金融推理能力

研究人员推出了FinExam-10K，这是一个旨在评估AI模型在金融推理任务上的新基准，涵盖了CFA和FRM考试的全部范围。该基准包含10,198个专家重新标注的问题，旨在评估模型整合领域知识、执行计算和做出判断的能力。虽然表现最佳的模型总体准确率为85.29%，但在更具挑战性的、上下文完整的推理任务上的表现显著较低，最佳得分仅为54.57%。检索增强生成技术的效果喜忧参半，一些方法提高了准确性，而另一些方法则导致了净损失。