cross entropy
PulseAugur coverage of cross entropy — every cluster mentioning cross entropy across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
研究将AI涌现延迟与表征结构形成联系起来
研究人员调查了涌现现象，即模型在完全记住训练数据后很长一段时间内仍然能够泛化。通过对单层Transformer的实验，他们因果性地证明了涌现发生所需的时间直接与任务特定表征结构的形成有关。注入与真实任务结构相关的先验显著加速了涌现，而错误或随机的结构则延迟甚至完全阻止了涌现，这表明模型的内部表征是理解这种延迟的关键。
-
新的LP-SFT方法在微调过程中保留语言模型能力
研究人员推出了一种新颖的监督微调方法LP-SFT，旨在保留预训练语言模型固有的熵结构。标准的微调会因过度关注目标标签词元而损害现有能力。LP-SFT通过维持替代合理词元之间的相对结构来解决这个问题，从而在不牺牲采样多样性的情况下缓解能力退化。实验表明，LP-SFT在平衡准确性和更广泛的性能指标方面优于普通SFT和其他增强基线。
-
新的SMMD训练方法增强了LLM的数值精度
研究人员开发了一种名为平滑最大均值差异（SMMD）的新训练目标，以提高大型语言模型（LLM）的数值精度。标准的交叉熵训练将数值标记视为类别，忽略了它们固有的值结构。SMMD通过引入值距离核和基于图的平滑性来解决这个问题，将预测分布与目标值对齐，并鼓励局部一致性。在数学推理和图表问答等任务上，对各种LLM和视觉语言模型骨干的评估表明，SMMD的性能始终优于现有方法。
-
新的序数交叉熵框架增强了用于医疗预测的深度学习能力
研究人员引入了一个名为序数交叉熵（OCE）的新框架，旨在提高深度神经网络在目标标签具有内在序数结构的医疗应用中的准确性。传统的交叉熵等损失函数没有考虑到错误分类的不同严重程度，而这可能对临床产生重大影响。OCE框架通过引入一个序数成本矩阵来反映这些不同的错误分类成本，从而扩展了标准的交叉熵，实现了更平滑的优化和更好的序数一致性。实验表明，在预测误差成本和校准方面，OCE的表现优于现有的最先进的序数方法。
-
交叉熵训练下 Transformer 层的均场控制分析
研究人员使用连续深度均场控制的视角，在交叉熵训练框架内分析了 Transformer 层。他们将深度视为时间，将层参数视为控制，将 Transformer 递归建模为受控隐藏状态流的显式欧拉方案。该研究为极限种群问题推导了庞特里亚金条件，其中终端伴随项包含 softmax 残差，并为有限类和度量熵场景提供了估计。
-
新研究深入探讨 Transformer 的能耗、学到的线性以及训练动态
近期研究探索了 Transformer 模型的复杂性，重点关注其能耗、内部线性特性和训练动态。其中一篇论文引入了一个缩放模型，用于预测微调期间的能耗，该模型受 Roofline 模型启发，并考虑了并行效应。另一项研究调查了 Transformer 前馈块的线性，揭示了这种特性是学到的而非架构性的，并且在不同层之间存在显著差异。第三篇论文通过连续深度均场控制的视角分析了 Transformer 层，将交叉熵训练与最优控制问题联系起来。此…
-
权重范数在神经网络 Grokking 中的作用得到阐明
研究人员调查了神经网络中“Grokking”现象，即模型从记忆转向泛化。他们的发现表明，先前被认为是这种转变主要驱动因素的权重范数，主要充当 Logit 尺度的上游控制。通过直接操纵 Logit 尺度，研究人员可以控制 Grokking 延迟的整个范围，而权重范数仅产生微小的附加效应。发现这种关系取决于所使用的损失函数，均方误差显示出与交叉熵不同的机制。
-
新的损失函数可加速监督学习中的神经坍塌
研究人员引入了新的方法NTCE和NONL，通过更有效地实现神经坍塌（NC）来改进监督分类。这些技术解决了现有范式（如交叉熵和监督对比学习）的局限性。通过将监督学习视为超球体上的原型学习，新的损失函数能够更快地收敛到NC，并在迁移学习和鲁棒性方面取得显著改进，尤其是在类别不平衡的情况下。
-
研究人员开发用于无分布预训练的进化动态损失
研究人员开发了一个名为进化动态损失（EDL）的新框架，用于预训练分类损失。EDL使用合成数据学习可迁移的损失函数，避免了在主要预训练阶段需要真实样本。该框架通过进化策略将损失优化为一个轻量级网络，并结合混沌变异来增强探索和改善收敛性。在CIFAR-10上的实验表明，EDL可以有效地替代交叉熵并达到相当或更好的准确率。
-
Linear-Core Surrogates 提供用于分类的平滑损失函数和线性速率
研究人员推出了一种新型凸损失函数家族——Linear-Core (LC) Surrogates，旨在结合机器学习中平滑损失和分段线性损失的优点。这些代理是可微的，并实现了线性一致性界限，提供了更高的统计效率。在结构化预测任务中，LC Surrogates 能够实现更高效的随机梯度估计器，避免了二次复杂度，从而节省了大量的计算和能源。
-
对比学习提升AI模型鲁棒性和透明度
对比学习是一种机器学习技术，它创建一个嵌入空间，将相似的数据点聚集在一起，并将不相似的数据点分开。该方法可应用于监督和无监督场景，在传统交叉熵损失函数方面具有优势，尤其是在安全关键型应用中。研究表明，监督对比学习通过改进特征归因解释，可以带来更值得信赖和更透明的神经网络。