Synthetic Web Benchmark

新基准揭示前沿 AI 模型在错误信息方面会灾难性地失败

研究人员开发了合成网络基准，这是一个旨在测试语言代理对错误信息易感性的新环境。该基准具有程序生成的超链接文章，并带有可信度和事实性的地面真实标签，可以隔离对抗性排名漏洞。对六个前沿模型的初步测试显示，即使可以访问真实来源，当暴露于一篇高可信度错误信息文章时，准确性会显著下降且校准失准。这些发现突显了当前模型处理冲突信息的基本局限性，并强调在高风险应用中需要更强大、更具认知谦逊性的代理。