研究人员开发了“Ideation Arena”，一个通过人类专家评估来评估大型语言模型（LLM）生成的研究思路的新平台。该战斗式系统使用计算机科学研究人员的成对比较来创建一个 Elo 评分排行榜，对 14 个前沿 LLM 和 5 种研究代理架构的有效性进行排名。研究发现代理性能存在显著差异，一些代理提高了构思质量，而另一些则几乎没有益处或表现不佳。此外，还创建了一个名为 Ideation Arena Eval 的新基准，用于评估自动化评估器与人类偏好，结果显示当前的 LLM 裁判难以可靠地复制专家判断。 AI
影响 为评估 LLM 研究构思能力建立了一个新基准，并突出了当前自动化裁判的局限性。
排序理由 学术论文，介绍了一种用于 LLM 生成研究思路的新评估方法和基准。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- computer science
- DagsHub
- Elo rating system
- Hugging Face
- Ideation Arena
- Ideation Arena Eval
- LLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
