MRR@5

新基准改进了阿拉伯伊斯兰教法的检索

研究人员开发了一种新的方法来评估专门针对阿拉伯伊斯兰教法（fiqh）的检索系统。这种方法将检索性能与生成错误分离开来，从而更精确地评估系统查找相关段落的能力。该研究引入了一个阿拉伯教法测试集，并比较了各种检索策略，表现最好的系统达到了 0.524 的 MRR@5，经过微调后提高到 0.553。确定的一个关键挑战是区分包含具体教义的段落和仅仅是主题相似的段落。