InfiniteScienceGym

新的基准 InfiniteScienceGym 测试 LLM 的科学推理能力

一个名为 InfiniteScienceGym 的新基准已被开发出来，用于评估大型语言模型的科学推理能力。这个程序生成的基准创建了真实的科学知识库和问答任务，旨在克服现有数据集的局限性，如发表偏差和噪声。初步评估显示，目前专有的和开源的模型都表现不佳，没有一个准确率超过 50%，尤其是在识别无法回答的问题方面。研究还表明，更先进的模型倾向于有效利用工具，而不是仅仅处理更多数据。