mHC-lite

新的mHC架构改变了AI模型中注意力头的行为

研究人员调查了流形约束超连接（mHC）这一在Deepseek v4中实现的新型架构对模型可解释性的影响。实验显示，mHC模型中的先前标记注意力头表现出不同的行为，出现在更早的层中，并与高峰度分数相关，这与在标准模型中通过对角条纹分数可检测到的情况不同。研究还观察到，mHC-lite模型倾向于在其残差流中输出多样化的标记，而mHC模型在标记预测方面表现出更强的统一性。