实体
SDABench
SDABench
PulseAugur coverage of SDABench — every cluster mentioning SDABench across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新基准显示大型语言模型在复杂科学推理方面存在困难
开发了两个新基准 PHD 和 SDABench，用于评估大型语言模型 (LLM) 在科学发现和数据分析方面的能力。PHD 侧重于模型从不确凿证据中自主构建假设空间的能力，而 SDABench 则评估了包括探索、推理和跨不同科学领域的机械推理在内的六项特定科学能力。对 15 个大型语言模型的初步评估表明，虽然模型在描述性任务方面表现出色，但在更复杂的推理、假设选择和机械解释方面存在困难，这表明它们在科学发现潜力方面存在显著差距。
-
最新研究探讨LLM智能体在技能选择、自动驾驶和合规性方面的进展
arXiv上发布的多篇研究论文探讨了大型语言模型（LLM）智能体的进展，重点在于提高其能力和可靠性。其中一篇论文介绍了用于LLM智能体最优技能选择的最佳前缀选择（BPS），该方法在性能和代币成本方面提供了可证明的保证。另一项研究提出了一个混合框架用于自动驾驶，该框架整合了LLM的常识推理与强化学习和PID控制，以增强决策能力。此外，还有研究通过纵向生命轨迹来缓解LLM智能体中的身份本质主义，并开发了LLM智能体的策略合规性和故障归因方法。