一项新研究论文识别出对齐语言模型中一种称为“错误下探”（wrong-dip）的现象，即内部处理会暂时倾向于一个错误答案，然后在后续层中被纠正。这种下探的强度在 Qwen2.5、Llama 3-8B 和 Mistral-7B 等模型之间有所不同，并且它与压缩技术下的失败率增加相关。研究还表明，通过特定的微调方法可以减少这种下探，这表明输出层面的正确性可能会掩盖模型推理中潜在的脆弱性。 AI
影响 揭示了模型推理和压缩鲁棒性方面潜在的脆弱性，影响模型评估和开发。
排序理由 该集群包含一篇详细介绍语言模型行为新发现的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.04640v1 Announce Type: new Abstract: We study how correctness is assembled inside aligned language models, not only whether the final answer is right. Using layer-wise difference-in-differences (DiD) trajectories over polarity-controlled minimal pairs, we identify the …
We study how correctness is assembled inside aligned language models, not only whether the final answer is right. Using layer-wise difference-in-differences (DiD) trajectories over polarity-controlled minimal pairs, we identify the wrong-dip: in mid layers (25-90% depth), interna…