研究人员推出RATIO,一个旨在评估科学文献检索系统的新基准。RATIO根据三个不同的“构思步骤”对相关性进行分类:解决(Address)、拓宽(Broaden)和具体化(Specify)。该基准使用数百万篇全文科学论文构建,并通过大型语言模型(LLM)和人工审查进行验证。实验表明,虽然针对特定操作的微调显著提高了检索性能,但在支持基于文献的构思方面仍有很大的进步空间。 AI
影响 该基准可能催生更先进的科学研究AI工具,改进研究人员如何发现和利用现有文献来获得灵感和解决问题。
排序理由 该集群描述了一个用于科学文献检索系统的新学术基准。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- Hugging Face
- alphaXiv
- CatalyzeX Code Finder for Papers
- Connected Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Influence Flower
- Litmaps
- ScienceCast
- scite Smart Citations
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →