Yang Songlin

中国AI实验室在长上下文模型关键参数上趋同

中国AI实验室智谱AI和月之暗面（Kimi）在其线性注意力机制中，正在就一个关键参数“gate_lower_bound”设置为-5达成一致。该参数对于通过防止文本处理过程中的数值溢出来稳定长上下文模型至关重要。智谱AI的GLM-5.3-Flash似乎采用了该参数，与Kimi的K3模型类似，这表明存在共同的技术挑战，以及在规模化AI推理方面优化效率和成本的竞争。