研究人员开发了一个名为Idea2Plan的新基准，用于评估大型语言模型（LLM）将概念性研究想法转化为结构化计划的能力。该基准源自ICML 2025和Nature Mental Health的论文，评估了LLM在自主研究代理方面的潜力。实验表明，在现有模型中GPT-5表现最佳，但仍有很大的改进空间。该研究还引入了Idea2Plan JudgeEval来衡量基于LLM的裁判的可靠性。 AI
影响 这项研究可能会加速自主研究代理的开发，并提高LLM在科学发现中的效用。
排序理由 该集群描述了一篇介绍LLM能力新基准和评估的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
