研究人员推出了MAPLE，一个旨在评估科学论文检索系统的新基准。与目前关注单一查询-论文相关性的基准不同，MAPLE评估检索器根据论文的动机、方法和实验结果一致找到论文的能力。该基准包含2095个针对近期机器学习和自然语言处理论文的查询，整合了文本和多模态内容。实验表明存在显著的性能差距，最好的模型在跨所有方面检索论文时仍有困难，这凸显了对更全面检索方法的需求。 AI
影响 该基准有望推动更先进的AI系统在科学文献检索和分析领域的发展。
排序理由 该项目描述了一个用于评估科学论文检索系统的新基准，属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- DagsHub
- Gotit.pub
- Hugging Face
- Influence Flower
- MAPLE-Synth
- natural language processing
- OpenReview
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
