实体
logarithmic loss
logarithmic loss
PulseAugur coverage of logarithmic loss — every cluster mentioning logarithmic loss across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
最近 · 第 1/1 页 · 共 3 条
-
新的SFT目标在有能力的LLM上优于NLL
研究人员探索了大型语言模型监督微调（SFT）的替代目标，超越了标准的负对数似然（NLL）。他们的研究通过在各种模型和基准上进行大量实验，揭示了不同的目标根据模型的性能表现更好。对于能力更强的模型，降低低概率token权重的目标更有效，而对于能力较弱的模型，NLL表现最佳。
-
DeepSeek-V4, LoRA, and other LLM techniques detailed in new blogs
A series of six blog posts has been published on Outcome School, detailing fundamental components of contemporary large language models. The posts cover technical concepts such as RMSNorm, DeepSeek-V4, LoRA, RoPE, GQA, …
-
新框架通过分离层优化深度学习训练
研究人员引入了一个名为层分离优化（Layer Separation Optimization）的新颖框架，以解决深度学习模型使用交叉熵损失进行训练时面临的挑战。该方法旨在缓解深度网络训练过程中出现的强非凸性问题。通过使用辅助变量将复杂的优化问题分解为更小、更易于管理子问题，该框架在理论上为原始交叉熵损失提供了上限，并在数值实验中展示了改进的优化行为。