一篇新的研究论文探讨了语言模型在信息检索方面的能力，使用了“维基百科游戏”，玩家仅通过链接在文章之间导航。该研究比较了包括 GPT-o3 mini、GPT-4o、QwQ:32B 和 DeepSeek-R1:70B 在内的各种语言模型与人类表现以及五种语言和学术文献数据集上的 TF-IDF 基准。虽然没有模型显著超越人类表现，但表现最好的 LLM 取得了相当的成功，结果因语言和主题而异，这可能对该领域的从业者产生影响。 AI
影响 这项研究表明，虽然 LLM 在复杂的信息检索任务中正接近人类水平的表现，但在不同语言和领域方面仍有改进空间。
排序理由 该集群包含一篇详细介绍语言模型能力研究的学术论文。
在 arXiv cs.IR (Information Retrieval) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.13948v1 Announce Type: new Abstract: Language models increasingly support or automate information retrieval from document collections too large to index. This task is difficult when it requires specialist linguistic or scientific knowledge. We used the Wikipedia Game t…
Language models increasingly support or automate information retrieval from document collections too large to index. This task is difficult when it requires specialist linguistic or scientific knowledge. We used the Wikipedia Game to test language models on an analogous informati…