English(EN) Errors of LLM-Assisted Literature Retrieval in Environmental Science: A Comparison Study of Abstract versus Full-text Based Prompts

研究发现：LLM 在环境科学文献检索中的准确性中等

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-05 02:04

一篇新发表在 arXiv 上的研究评估了大型语言模型（LLMs）在检索环境科学文献书目信息方面的准确性。研究人员比较了包括 Claude、ChatGPT、Grok、DeepSeek、Perplexity 和 Gemini 在内的多个 LLM 的性能，方法是使用基于摘要和全文的提示，针对来自顶级环境科学期刊的 50 篇随机选择的文章。研究发现，基于摘要的提示通常比全文提示具有更高的准确性，准确性也因 LLM 平台、期刊以及参考文献在输出列表中的位置而异。总体而言，LLM 辅助的环境科学文献检索被发现准确性中等但存在不一致性。 AI

影响强调了当前 LLM 在准确检索科学文献方面能力的局限性，建议依赖这些工具的研究人员应谨慎。

排序理由评估 LLM 在特定任务上性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.IR (Information Retrieval) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 1 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 评估 LLM 在特定任务上性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 1 days old; Coverage has settled into its steady-state source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.IR (Information Retrieval) TIER_1 English(EN) · Lanjing Zhang · 2026-10-05 02:04

环境科学中大语言模型辅助文献检索的错误：基于摘要与全文提示的比较研究

Large language models (LLMs) are increasingly used for literature search and synthesis. However, it is unclear whether they retrieve accurate bibliographic information in environmental science. Therefore, we quantitatively compared the errors of widely used LLM platforms in retri…

本文如何被排名

报道来源 [1]

环境科学中大语言模型辅助文献检索的错误：基于摘要与全文提示的比较研究

相关实体

相关话题