一个名为IdeaTaste的新基准测试已被开发出来，用于评估AI模型的“研究品味”，特别是其生成的科研提案与实际人类研究方向的契合程度。该基准测试将2025年大型语言模型生成的提案与2026年人类社区在各个领域发表的研究进行比较。结果表明，当前的大型语言模型代理在表现上远不如人类研究者，在引用匹配方面仅达到人类水平的26%，在想法匹配方面仅为18%。虽然大型语言模型能够识别广泛的研究领域，但它们在制定成功的、人类研究的特征性具体方法和计划方面存在困难。 AI
影响 突显了大型语言模型在生成新颖研究方法方面的能力差距，表明当前模型更擅长识别趋势而非制定具体的研究计划。
排序理由 该集群描述了一个评估大型语言模型能力的新基准测试和研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2611.03424v1 Announce Type: new Abstract: Research taste, the judgment of what to read, which problems to pursue, and which methods to try, increasingly shapes the work of AI scientists, yet it remains far less understood than their ability to execute research. We introduce…
IdeaTaste benchmarks LLM research proposals against future publications, revealing that AI agents match human communities in broad directions but fall far behind in concrete approaches and expected success.