PulseAugur
中
实时 13:29:00
Deutsch(DE) Generalized Kullback-Leibler Divergence Loss

新的广义KL散度损失实现了最先进的鲁棒性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员引入了广义Kullback-Leibler (GKL) 散度损失，这是对现有KL散度损失方法的改进。这种新的损失函数通过改进高预测分数类别的优化并减少样本偏差，解决了知识蒸馏等场景中的局限性。在CIFAR-10/100、ImageNet以及视觉-语言任务等数据集上的实验证明了GKL的有效性，在RobustBench上实现了最先进的对抗鲁棒性，并在知识蒸馏方面取得了有竞争力的性能。 AI

影响 引入了一种新颖的损失函数，增强了AI模型在对抗鲁棒性和知识蒸馏方面的性能。

排序理由 该集群包含一篇详细介绍机器学习模型新损失函数的学术论文。[lever_c_research降级：ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 Deutsch(DE) · Jiequan Cui, Beier Zhu, Qingshan Xu, Zhuotao Tian, Xiaojuan Qi, Bei Yu, Hanwang Zhang, Richang Hong ·

    Generalized Kullback-Leibler Divergence Loss

    arXiv:2503.08038v2 Announce Type: replace-cross Abstract: In this paper, we delve deeper into the Kullback-Leibler (KL) Divergence loss and mathematically prove that it is equivalent to the Decoupled Kullback-Leibler (DKL) Divergence loss that consists of (1) a weighted Mean Squa…

相关实体

相关话题