实体
QK-Norm
QK-Norm
PulseAugur coverage of QK-Norm — every cluster mentioning QK-Norm across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
部分 RoPE 在 Transformer 中提供 10 倍内存节省，性能损失极小
一篇新的 arXiv 论文研究了 Transformer 中部分旋转位置嵌入 (RoPE) 的性能和收敛性。研究表明，仅将 RoPE 应用于一小部分维度（约 10%）就可以实现与标准 RoPE 相比高达 10 倍的显著内存节省，同时保持可比的最终损失。研究还发现，最小化 RoPE 使用或应用 QK-Norm 可以缓解在没有位置编码时观察到的损失峰值。
-
新框架“神经维度分析”提高了 Transformer 的尺度一致性
研究人员推出了一种名为神经维度分析（NDA）的新框架，用于理解和改进神经网络（尤其是 Transformer）的尺度一致性。NDA 使用类似于物理单位的原理来定义张量如何重新缩放以及哪些量可以相加，从而帮助管理尺度不匹配问题。该框架通过单位违规指数（UVI）进行诊断，并通过规范化 Transformer（GCT）来提高训练稳定性和量化鲁棒性，在语言建模和其他领域取得了初步成果。
-
开源大模型演进：注意力机制、多模态和效率提升
近几个月来，开源大模型领域发生了重大变化，滑动窗口注意力机制已成为主流，支持更大的上下文窗口。QK-Norm 也因其作为训练稳定器的作用而受到关注，其根源可追溯至 Gemini 3 的架构。Kimi k2.5 中早期出现的多模态预训练，已被证明有利于推理，而 Z.ai 的 GLM-5，尽管经过修改，但性能可与顶级闭源模型相媲美。Step 3.5 Flash 在推理速度和多令牌预测方面表现突出，尽管基准测试性能并不总是与用户偏好一致。