Ideation Arena

新平台 Ideation Arena 对 LLM 研究思路生成进行排名

研究人员开发了“Ideation Arena”，一个通过人类专家评估来评估大型语言模型（LLM）生成的研究思路的新平台。该战斗式系统使用计算机科学研究人员的成对比较来创建一个 Elo 评分排行榜，对 14 个前沿 LLM 和 5 种研究代理架构的有效性进行排名。研究发现代理性能存在显著差异，一些代理提高了构思质量，而另一些则几乎没有益处或表现不佳。此外，还创建了一个名为 Ideation Arena Eval 的新基准，用于评估自动化…