Yago

新的DeFAb基准揭示基础模型在可废止归纳推理方面存在困难

研究人员开发了DeFAb，一个旨在严格评估基础模型可废止归纳推理能力的新基准。该基准将广泛的知识库转换为形式上可靠的实例，要求模型构建能够解释异常的假设，同时覆盖默认值并保留其他预期。与之前的评估不同，DeFAb强制执行逻辑严谨性，确保假设的推导是正确、保守和最小化的。在DeFAb上测试的前沿模型显示出明显的局限性，在某些层级的准确率下降到低至7.8%，表明其在复杂的理论推理和理论修正方面存在困难。