研究人员推出 ProSearch，这是一个旨在评估实验科学中多约束协议检索系统的新基准测试。该基准测试通过整合真实查询、具有依赖关系的复杂实验领域以及包括数值和否定要求在内的明确约束，解决了现有系统的局限性。在 ProSearch 上对 19 个检索系统进行的实验显示，即使是表现最好的模型，平均 nDCG@10 也仅为 0.290，这表明联合约束绑定是一个重大的瓶颈。 AI
影响 该基准测试有望推动更先进的科学研究人工智能系统的发展，提高实验设计和复现的效率和准确性。
排序理由 该集群描述了在 arXiv 上发布的新基准测试和相关研究论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.41396v1 Announce Type: cross Abstract: In AI for Science scenarios, experimental design and method reproduction require retrieving protocols that satisfy multiple interdependent constraints, yet existing benchmarks lack systematic evaluation of this capability. To addr…
In AI for Science scenarios, experimental design and method reproduction require retrieving protocols that satisfy multiple interdependent constraints, yet existing benchmarks lack systematic evaluation of this capability. To address this gap, we introduce ProSearch, a benchmark …