Pavel Golikov

新基准揭示大型语言模型推理失败及Claude的回避行为

研究人员开发了鲁棒推理基准（RRB），这是一个新的评估流程，用于测试大型语言模型在经过故意文本扰动的数学问题上的表现。该基准显示，虽然前沿模型在很大程度上具有弹性，但Anthropic的Claude模型会明确拒绝许多经过转换的提示。开放权重模型准确率显著下降，其中一些模型在各种失败模式下的准确率下降高达54%。研究还发现“查询内注意力稀释”是一个关键问题，即中间推理步骤会降低同一上下文窗口内后续问题的性能，这表明需要进行架构更改来管理注意力机制。