实体
z-loss
z-loss
PulseAugur coverage of z-loss — every cluster mentioning z-loss across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究分析语言模型中的Z-loss反向几何
一篇新论文从反向传播的角度分析了用于稳定语言模型训练的Z-loss技术。该研究引入了一种“反向传输”视图,将Z-loss的来源与其影响梯度的架构和优化器因素分离开来。这种分析揭示了Z-loss如何在不显著影响验证困惑度的情况下减少参数更新,尤其是在低系数情况下。
-
新方法通过解决输出嵌入几何问题来稳定大语言模型预训练
研究人员推出了一种名为输出嵌入中心化(OEC)的新策略,以稳定大语言模型(LLMs)的预训练。该方法通过分析输出嵌入的几何形状并确定各向异性嵌入是根本原因,从而解决了输出logit发散这一常见的训练不稳定性问题。OEC可以实现为一种称为μ-centering的确定性操作,或一种称为μ-loss的正则化技术,在实验测试中,这两种方法都表现出优于z-loss等现有方法的性能。