中国AI实验室智谱AI和月之暗面(Kimi)在其线性注意力机制中,正在就一个关键参数“gate_lower_bound”设置为-5达成一致。该参数对于通过防止文本处理过程中的数值溢出来稳定长上下文模型至关重要。智谱AI的GLM-5.3-Flash似乎采用了该参数,与Kimi的K3模型类似,这表明存在共同的技术挑战,以及在规模化AI推理方面优化效率和成本的竞争。 AI
影响 这种在线性注意力关键参数上的趋同表明存在共同的技术瓶颈和优化策略,可能加速具有成本效益的长上下文AI的部署。
排序理由 领先的中国AI实验室在长上下文模型上就一个关键技术参数(“gate_lower_bound”设为-5)达成一致,这表明了重要的行业趋势和优化努力。[lever_c_demoted from significant: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →