Idea2Plan

新基准评估LLM的研究规划能力

研究人员开发了一个名为Idea2Plan的新基准，用于评估大型语言模型（LLM）将概念性研究想法转化为结构化计划的能力。该基准源自ICML 2025和Nature Mental Health的论文，评估了LLM在自主研究代理方面的潜力。实验表明，在现有模型中GPT-5表现最佳，但仍有很大的改进空间。该研究还引入了Idea2Plan JudgeEval来衡量基于LLM的裁判的可靠性。