实体
Query-Key Normalization
Query-Key Normalization
PulseAugur coverage of Query-Key Normalization — every cluster mentioning Query-Key Normalization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
SwiftQK 通过高效的张量并行优化大型语言模型训练
研究人员开发了 SwiftQK，一种用于优化大型语言模型（使用张量并行训练）中查询-键归一化（QK-Norm）的新方法。该技术通过仅交换标量归一化统计数据并使计算与数据归约重叠，显著降低了与 QK-Norm 相关的通信开销。与现有方法相比，SwiftQK 在延迟和端到端服务性能方面均取得了实质性改进。
-
新论文通过谱几何分析神经网络的“领悟”现象
两篇新的arXiv论文探讨了神经网络中“领悟”（grokking）现象，即模型在记忆训练数据后才能泛化。其中一篇论文提出“低秩衰减”（Low-Rank Decay, LRD）作为谱正则化器，通过压缩奇异值来改善领悟，并表明它可以加速秩崩溃并扩大泛化能力的数据分数边界。另一篇论文将领悟视为一个约束优化问题，证明了梯度下降在零损失流形上最小化权重范数，并推导出了记忆后动力学的闭式表达式。