一篇新的 arXiv 论文详细介绍了不同的数值状态追踪方法如何在稀疏专家混合（MoE）模型中导致行为分歧，即使在数学上是等效的。研究人员发现，在 DeepSeek-V4 Flash 中改变聚合语义，同时保持 MoE 状态冻结，会导致不同的执行路径和输出延续。研究强调，相同的 token 并不能保证相同的自回归状态，因为分歧可能在生成过程的后期出现。这些发现表明，操作数转换、累加器精度和归约顺序是 MoE 运行时和硬件数值兼容性协议的关键组成部分。 AI
影响 强调了 MoE 模型可复现性中潜在的问题以及对标准化数值兼容性协议的需求。
排序理由 学术论文，详细介绍了模型行为的新颖发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
