cross entropy
PulseAugur coverage of cross entropy — every cluster mentioning cross entropy across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的对抗性训练方法针对模型置信度结构
研究人员开发了一种新颖的对抗性训练方法,通过关注模型置信度结构的变形来解决“伪攻击”问题。该方法将交叉熵和KL散度整合到混合目标中,旨在同时破坏预测准确性和分布一致性。此外,它采用几何重建来生成最大化置信度流形上距离的扰动,最优方向与费舍尔信息矩阵的特征向量对齐。实验表明,该技术提高了对抗性鲁棒性和可迁移性,尤其是在高置信度区域。
-
新理论重塑了针对不平衡和开放集数据时的神经坍塌
开发了一个新的神经坍塌(NC)理论框架,解决了不平衡数据集和开放集场景带来的挑战。该研究使用类平均损失而非全局损失来重塑NC,证明了标准NC在交叉熵和二元交叉熵的类平均损失最小值处即可实现。该研究还将此扩展到开放集条件,表明未知类的分类器向量会重叠并与已知类正交,而标准NC在已知类上仍然存在。此外,该论文还证明了重新平衡的基于Softmax和Sigmoid的对比损失在不平衡数据集上的最小值处也表现出标准NC。
-
新的TVP损失函数增强了推测性解码,以实现更快的LLM推理
研究人员开发了TVP,这是一系列新颖的损失函数,旨在改进大型语言模型的推测性解码。该方法通过优化提议令牌的接受率来加速推理。TVP通过解决梯度消失和前缀饥饿等问题,在现有训练目标(包括交叉熵和DFlash2配方)方面取得了显著改进。
-
门控知识蒸馏未能改善低资源孟加拉语生成
一篇新的研究论文探讨了用于低资源孟加拉语生成的门控知识蒸馏技术,发现这些方法并未显著优于标准的知识蒸馏或交叉熵微调。该研究在各种任务和模型规模上测试了两种门控机制(EWAD 和 CHAD),得出结论认为门控主要起到正则化器的作用,有助于防止在长时间训练期间性能下降。研究发现,无教师标签平滑在很大程度上弥合了与标准微调观察到的性能差距。
-
AI模型以91%的准确率检测非法野生动植物贸易产品
研究人员开发了一个深度学习目标检测框架,用于识别在线市场上源自大象、穿山甲和老虎等濒危物种的衍生产品。该系统使用近40,000张图片的数据库进行训练,并采用带有交叉熵损失的Faster R-CNN模型,整体准确率达到84.2%。当部署在原型智能手机应用程序中时,该模型的准确率达到91.3%,为实时监测野生动植物贸易和支持保护工作提供了潜在工具。
-
新论文揭示机器学习库中的数值问题,并提出修复方案
Barron 等人最近的一篇论文指出了 PyTorch 和 JAX 等常用机器学习库中 Softmax 和交叉熵函数存在的数值问题。研究人员证明,基于属性的测试(特别是使用 Hypothesis)可以发现这些问题。他们的工作还提出了一个更稳健的 Softmax 实现,解决了这些问题并支持因果注意力掩码,代码可在 GitHub 上获取。
-
研究人员修复了 Softmax 和交叉熵实现中的数值错误
研究人员已识别并修复了标准 softmax、log-softmax 和交叉熵实现中的两个数值错误。第一个错误“Softmax 崩溃”会在一个 logit 显著大于其他 logit 时导致目标 logit 的梯度四舍五入为零,从而扰乱梯度和。第二个错误“Softmax 抵消”会在学生和教师 logit 相同时产生非零梯度,当这些 logit 相近时发生。提出的解决方案消除了“弹弓”现象,加速了带权重衰减的 grokking,并在没有权重…
-
推测解码中草稿训练目标收益递减
arXiv上的一篇新研究论文探讨了大型语言模型推测解码中草稿训练目标的有效性。研究发现,虽然这些目标最初比标准的交叉熵方法显示出收益,但在目标再生后,这些收益会显著减小。这种缩减在各种配置下都持续存在,表明目标收益应与目标再生基线和不同训练长度进行比较。
-
新研究强调了AI鲁棒性评估中损失函数失配问题
研究人员在Wasserstein分布鲁棒优化(WDRO)中发现了代理损失函数与零一损失之间的失配。这种失配可能导致具有完美鲁棒准确率的假设比具有接近零鲁棒准确率的假设具有更高的WDRO风险,尤其是在使用交叉熵等常用损失函数时。为解决此问题,本文提出了Wasserstein分布攻击(WDA),一种在Wasserstein约束下优化经验质量分配以直接评估鲁棒准确率的新方法。在CIFAR-10、CIFAR-100和ImageNet上的实验表…
-
新损失函数改进了AI集合值分类器在不平衡数据上的性能
研究人员开发了一种odd-K-out (OKO) 损失函数的修改版本,以提高集合值分类器在不平衡数据集上的性能。与标准的交叉熵训练相比,这种改进的OKO损失函数提高了样本效率并降低了计算开销。实验表明,该方法在不显著增加预测集大小的情况下,显著提高了各种集合值分类器在少数类别上的宏观准确率。
-
新的BOLT损失函数旨在提高分类器训练精度
研究人员推出了一种新颖的训练损失函数BOLT,旨在为分类器提供贝叶斯误差率的通用上限。该新损失函数源自贝叶斯误差率,旨在通过最小化此上限来指导训练过程中的参数更新。在合成数据集和真实世界数据集上的实验表明,与传统的交叉熵训练相比,BOLT训练可以实现更低的测试集分类误差。
-
新研究探讨配对 AUC 优化中的纠正力
一篇新的研究论文探讨了在优化机器学习模型配对 AUC(曲线下面积)时“纠正力”的概念,特别是在类别不平衡的情况下。该研究发现,直接进行配对 AUC 训练,虽然与评估指标一致,但可能导致严重的排名错误在模型没有显著改进的情况下持续存在。该论文通过检查来自配对梯度的 U 统计量的性质,为这一现象提供了理论解释。使用各种计算机视觉和自然语言处理任务进行的实验,包括 ResNet50、DenseNet121、DistilBERT-base 和…
-
新研究探讨双曲表示学习中的隐式偏差
本文深入探讨了多类别数据的双曲表示学习的隐式偏差,并通过布斯曼风险的视角进行了分析。研究利用布斯曼函数将双曲空间中到类别原型的距离分解为径向和方向分量。主要发现包括基于漂移系数的径向二分法,该系数决定了半径是扩张还是收缩,以及边界方向收敛到布斯曼风险的临界点。
-
AI研究探索约束感知模型训练新方法 · 已追踪2个来源
两篇新研究论文探讨了训练AI模型以更有效遵守约束的方法。第一篇论文介绍了反事实KKT(CF-KKT)框架,该框架利用学习到的动力学和最优演示来推断未知约束,而无需进行风险探索,从而提高了机器人学的安全性和数据效率。第二篇论文提出了约束感知训练,将约束检查从训练外部化到推理阶段,通过避免对已过滤令牌的冗余学习,可能带来更高效的模型。
-
新研究通过改进路由和扩散模型增强了 Mixture-of-Experts LLM · 跟踪到 2 个来源
两篇新研究论文探讨了对 Mixture-of-Experts (MoE) 大型语言模型的增强。第一篇论文引入了 token-error supervision 来指导 MoE 路由,通过将路由亲和力与实际 token 错误对齐,提高了 Granite 和 ARC-Challenge 等基准的准确性。第二篇论文提出了用于非因子化扩散语言模型的 Enhanced Mixture-of-Experts (E-MoE),使用 MoE 路由在离…
-
新的熵正则化方法改进了可验证任务的AI模型训练
研究人员发现,在标准交叉熵(CE)训练与在数学推理和代码生成等可验证领域生成正确输出的目标之间存在不匹配。这个问题之所以出现,是因为即使CE训练能够准确模仿专家演示,它也可能无意中为不正确的输出分配更高的概率。为了解决这个问题,提出了一种名为熵正则化交叉熵(ER-CE)的新方法,该方法使用令牌级别的香农熵作为代理来控制策略的支持并防止质量扩散到不支持的输出。在数学推理和代码生成基准上的实验表明,与标准CE相比,ER-CE始终能提高验证器的准确性。
-
研究人员揭示Adam优化器的稳定性相图
研究人员为Adam优化器识别出了一个稳定性相图,揭示了其两个动量时间尺度如何控制训练不稳定性。他们发现在$(\beta_1,\beta_2)$平面上存在一个近似线性的边界,该边界将尖峰动态与非尖峰动态分开,这与损失函数的有效指数相关。该边界通过将Adam的动量时间尺度与二次损失之外的有限尺度超二次损失的几何形状联系起来,有助于解释损失尖峰。
-
新方法识别视觉问答模型关键图像区域
研究人员开发了一种名为“反事实搜索地面区域”(CSGR)的新方法,用于识别对视觉问答(VQA)模型至关重要的图像区域。该方法通过干预图像区域来观察模型答案如何变化,从而 pinpoint 关键视觉证据。当应用于注意力引导和视觉CoT微调等现有训练技术时,CSGR标注在标准交叉熵微调上的性能持续提升,证明了其在面向地面训练中的实用性。
-
新损失函数解决序数分类中的“中心类别对冲”问题
研究人员引入了一种名为自适应边界序数损失(AMOL)的新损失函数,以解决序数分类任务中的一种特定失败模式,即中心类别对冲。这种现象会导致神经网络通过最小化对称损失来偏向预测中间类别,而忽略真实标签。AMOL 应用一个乘性权重,当预测类别接近中心且真实标签远离中心时,该权重较大,从而惩罚这种对冲行为。实验表明,其不对称变体 AMOL-asym 在 Abalone 数据集上完全消除了中心类别对冲。
-
新的TPT方法提高了AI模型的校准和准确性
研究人员发现,依赖于熵最小化的测试时提示调优(TPT)方法存在局限性,并指出这些方法可能导致过度自信的预测和模型校准下降。为解决此问题,提出了一种新目标,该目标使用交叉熵将原始视图预测与从增强视图派生的目标分布对齐。该方法还结合了目标分布的熵以捕捉样本特定的不确定性,并对增强视图预测采用置信度感知温度缩放。实验表明,该方法达到了最先进的准确性,并显著提高了模型校准。