serac

AI 知识编辑基准存在缺陷，新研究发现

Aditya Pratap Singh 及同事在 arXiv 上发表的一篇新研究论文揭示了当前 AI 模型知识编辑基准的重大局限性。他们的研究使用了一个名为 INLAY 的无梯度系统，发现现有基准无法准确衡量范围分类决策，该决策决定了存储的编辑是否适用于给定的查询。研究表明，这些基准在设计上不会惩罚使用参数化知识时的错误答案，因此未能奖励能够拒绝不当编辑的分类器。该论文认为，这些问题普遍存在于这些基准所评估的范围分类器家族中。