Sohan Venkatesh

大型语言模型因特定MLP块而非表征限制而无法进行单词计数

研究人员发现，大型语言模型内部存在一种特定机制，导致它们在计数重复单词时失败，尽管它们在内部表征中正确编码了计数。位于网络深度约85%-93%的多层感知器（MLP）块，在准确计数到达输出之前将其覆盖为不正确的计数。在Llama-3.2和Qwen2.5的不同模型大小中都一致观察到这种现象，这表明存在一个普遍的架构问题，而不是表征的限制。