研究人员发现，大型语言模型内部存在一种特定机制，导致它们在计数重复单词时失败，尽管它们在内部表征中正确编码了计数。位于网络深度约85%-93%的多层感知器（MLP）块，在准确计数到达输出之前将其覆盖为不正确的计数。在Llama-3.2和Qwen2.5的不同模型大小中都一致观察到这种现象，这表明存在一个普遍的架构问题，而不是表征的限制。 AI
影响 识别出大型语言模型中一个特定的计算瓶颈，可以针对该瓶颈来提高推理能力。
排序理由 详细介绍大型语言模型行为的具体发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
