MAPLE-Synth

新的MAPLE基准评估多方面科学论文检索

研究人员推出了MAPLE，一个旨在评估科学论文检索系统的新基准。与目前关注单一查询-论文相关性的基准不同，MAPLE评估检索器根据论文的动机、方法和实验结果一致找到论文的能力。该基准包含2095个针对近期机器学习和自然语言处理论文的查询，整合了文本和多模态内容。实验表明存在显著的性能差距，最好的模型在跨所有方面检索论文时仍有困难，这凸显了对更全面检索方法的需求。