研究人员开发了一种名为 Re-Search 的新评估方法，该方法改编了“二十个问题”游戏，以评估大型语言模型（LLMs）如何构思和探索研究概念。在此游戏中，LLM 必须通过提问是或否的问题来推断研究论文的核心思想，并由一个“神谕者”提供反馈。使用六个近期 LLM 对国际机器学习会议（ICML）的论文进行实验发现，大部分的构思生成进展发生在最初的 30 个问题内，之后模型倾向于停滞不前。研究发现，LLM 在判断好的想法或问题方面比独立生成它们更在行，这表明通过整合外部想法和问题来增强自动研究系统可能比仅仅提高单个模型的生成能力更有益。 AI
影响 通过专注于外部想法来源而非仅内部生成，为开发更有效的自动研究系统提出了新方向。
排序理由 该集群包含一篇详细介绍 LLM 新评估方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
