研究人员开发了MineralExp,这是一个旨在评估大型语言模型(LLM)代理在矿产勘探地球化学实验设计方面能力的新基准。该基准通过将实验设计重新表述为多标签分类问题来应对评估LLM代理的挑战,使用了跨越五个矿产系统过程的19种实验类型的分类法。MineralExp包含277个案例和1,572个参考实验计划,这些计划来自已发表的文献并由专家验证。初步结果表明,当前的LLM代理倾向于提出比必要更多的实验,实现了高召回率但低精确率。 AI
影响 该基准可以加速能够协助科学发现和实验设计的AI代理的开发。
排序理由 该集群描述了一个新的基准和研究论文,用于评估特定科学领域中LLM代理的能力。[lever_c_demoted from research: ic=1 ai=1.0]
- geochemical experiments
- LLM agents
- LLM-as-a-Judge
- MineralExp
- mineral exploration
- multi-label classification
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →