English(EN) ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models

新的ListQA基准测试LLM的多事实检索能力

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-15 04:00

研究人员推出了ListQA，这是一个旨在评估大型语言模型（LLM）检索和组织事实信息成列表能力的新基准。该基准包含超过9000个由人类策划的问题，要求模型回忆多个事实，经审计的错误率为1.7%。对34个模型的初步测试显示，即使是表现最好的模型在处理多方面问题和仅从其参数中检索事实方面也存在困难，尽管提供维基百科页面等来源文档可以显著提高性能。 AI

影响该基准有望推动LLM处理复杂、多部分事实查询的能力的提升，增强其在知识密集型应用中的效用。

排序理由该集群描述了一个用于评估LLM的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 16 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一个用于评估LLM的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, product; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Mayank Kulkarni, Rakesh Vaideeswaran · 2026-10-15 04:00

ListQA：一个用于评估大型语言模型中列表格式事实知识检索的基准

arXiv:2610.19165v1 Announce Type: cross Abstract: Many real-world questions demand not a single fact but an organized collection of them, yet existing factual knowledge benchmarks almost exclusively target single answer retrieval. We introduce ListQA, a benchmark of 9,045 human-c…

本文如何被排名

报道来源 [1]

ListQA：一个用于评估大型语言模型中列表格式事实知识检索的基准

相关实体

相关话题