研究人员开发了LEGAL-UQA,这是一个旨在评估针对乌尔都语使用者关于巴基斯坦宪法问答系统的基准。该基准包含619个平行的英乌问答对,能够分别测试问答能力和段落检索能力。初步评估显示,模型性能排名可能因所使用的相似度测量方法而异,并且简单的词语匹配方法在段落检索方面比测试的嵌入方法更有效。 AI
影响 该基准可以改进面向乌尔都语使用者的法律信息助手的开发,从而提高获取宪法权利信息的途径。
排序理由 该集群包含一篇详细介绍用于评估AI系统的新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →