TrustJev

新的AI基准测试通过改变物理定律和不可信证据来测试模型的推理能力

两篇新的研究论文介绍了一种新颖的基准测试和框架，用于评估AI模型区分事实证据与固有偏见或外部指令的能力。InfiniteWorld旨在评估模型在物理定律被改变的情况下，基于视觉数据进行推理的能力，揭示了模型倾向于依赖熟悉物理定律的趋势。TrustJev提出了一种将模型策略权威与潜在不可信证据分离的方法，从而在外部信息可能与既定规则冲突的情况下改进决策。