HypoArena

新基准显示大型语言模型在复杂科学推理方面存在困难

开发了两个新基准 PHD 和 SDABench，用于评估大型语言模型 (LLM) 在科学发现和数据分析方面的能力。PHD 侧重于模型从不确凿证据中自主构建假设空间的能力，而 SDABench 则评估了包括探索、推理和跨不同科学领域的机械推理在内的六项特定科学能力。对 15 个大型语言模型的初步评估表明，虽然模型在描述性任务方面表现出色，但在更复杂的推理、假设选择和机械解释方面存在困难，这表明它们在科学发现潜力方面存在显著差距。