PolicyBench

研究发现：AI 模型在决策任务中优先考虑标签而非定义

一篇新的研究论文探讨了用于分类和路由任务的类型决策模型如何优先考虑标签而非定义。研究发现，在多个模型和任务中，即使标签与详细定义相矛盾，模型也主要依赖提供的标签。这种“选项-标签偏见”非常强烈，以至于完全移除定义并不会显著影响准确性，而将选项重命名为“A”和“B”等通用标签反而能提高性能。研究表明，这种偏见源于提示渲染而非模型本身的决策头，并为实践者提供了一种测试以识别其自身模型中的这种行为。