Avinash Holenarasipur Nagendra

新基准 Dhārā Bench 针对印度知识体系检索

研究人员推出了 Dhārā Bench，这是一个新的检索基准，旨在评估系统在印度知识体系 (IKS) 方面的表现。该基准包含 12 个类别中的 325 个问题和超过 60,000 个文本片段，并附有将问题链接到相关段落的详细注释。使用 Pyserini 实现的 BM25 基线进行的初步评估显示性能一般，特别是在诗句检索方面存在不足，并且在为多跳问题寻找完整证据方面存在挑战。语料库和评估代码可在 Hugging Face 上公开获取。