English(EN) NormasTCU --- A Brazilian Portuguese IR Dataset and an Evaluation of LLM-as-a-Judge for Relevance Assessment

尽管存在偏见，LLM在葡萄牙语法律信息检索相关性评估方面展现出潜力

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-27 22:14

研究人员开发了NormasTCU，一个巴西葡萄牙语信息检索（IR）的新数据集，其中包含14,469份法律文件和人工相关性判断。该研究评估了在此专业领域使用大型语言模型（LLM）作为评估者进行相关性评估的有效性。虽然LLM表现出积极的评分偏见，并且与人类判断的一致性仅为一般到中等，但它们通常能为nDCG@10和MRR等指标产生与人类评估高度相关的系统排名。 AI

影响 LLM有潜力扩展在专业、非英语领域的评估规模，提高信息检索系统评估的效率。

排序理由该集群描述了一个新的数据集以及在一篇研究论文中对LLM在特定任务上的表现进行的评估。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.IR (Information Retrieval) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一个新的数据集以及在一篇研究论文中对LLM在特定任务上的表现进行的评估。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 4 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.IR (Information Retrieval) TIER_1 English(EN) · Edans Flávius de Oliveira Sandes · 2026-08-27 22:14

NormasTCU --- 一个巴西葡萄牙语信息检索数据集以及对LLM-as-a-Judge用于相关性评估的考察

Portuguese Information Retrieval (IR) lacks public datasets, and relevance assessment for specialized collections remains costly. While Large Language Models (LLMs) increasingly support relevance assessment, their reliability in non-English specialized domains remains unclear. We…

本文如何被排名

报道来源 [1]

NormasTCU --- 一个巴西葡萄牙语信息检索数据集以及对LLM-as-a-Judge用于相关性评估的考察

相关实体

相关话题