研究人员开发了 Astro2Method，这是一个旨在评估大型语言模型（LLMs）在为天文学任务选择合适机器学习方法方面能力的基准测试。该基准测试包含 500 个专家评审的问题，这些问题源自 2024 年 1 月至 2026 年 6 月期间发表的天文学论文。虽然大型语言模型在较简单的问题上取得了很高的准确率，但在需要更深层次推理的复杂问题上，其表现显著下降。检索增强生成（retrieval-augmented generation）和各种代理方法（agent methods）等技术并未持续提高准确率，这表明大型语言模型在从领域知识和相关研究中推断必要信息方面仍然存在困难。 AI
影响 该基准测试可以指导开发更适合科学研究的大型语言模型，从而可能加速天文学等领域的发现。
排序理由 该集群包含一篇介绍用于评估大型语言模型的新基准测试的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
