MaD Physics

新基准 MaD Physics 在约束条件下测试 AI 的科学发现能力

研究人员推出了一款名为 MaD Physics 的新基准，旨在评估 AI 代理在现实世界约束条件下进行科学发现的能力。该基准侧重于代理在数据收集的数量和质量受限时如何进行测量和得出结论。该系统包含三个基于修改后的物理定律的环境，以防止先验知识污染，挑战代理在既定预算内推断基本原理并做出未来预测。使用各种 Gemini 模型进行的初步评估揭示了它们在结构化探索和数据收集能力方面的不足，表明科学推理方面有待改进。