Correct Answer Features

大型语言模型可能不使用“正确答案特征”来处理多选题

一项新的分析表明，大型语言模型在解决多项选择题时并非仅依赖于“正确答案特征”。理论论证表明，该特征（据称根据选项的 token 来评估其正确性）无法解释所有类型的问题，特别是那些正确性取决于后续信息或非传递性选项的问题。来自 Llama 模型的实证证据进一步支持了这一观点，表明在问题优先和选项优先的提示下，模型使用了相同的注意力头，这使得“正确答案特征”作为多项选择题回答的主要机制的说法受到质疑。