ULTRADISCOVERY

新的 ULTRADISCOVERY 基准测试 AI 的溯因推理能力

研究人员推出了 ULTRADISCOVERY，这是一个旨在评估 AI 代理的溯因推理和科学发现能力的新基准。该基准为代理提供了五个领域，它们必须在这些领域中修改现有理论并预测跨领域干预，同时控制表示的开放性和证据分布。对十一个模型的早期测试表明，在将证据组合成可转移的表示方面存在显著困难，代理经常撤销已建立的公理，并且即使有发现辅助工具也无法做出准确的预测。