实体
CIFAR-10/100
CIFAR-10/100
PulseAugur coverage of CIFAR-10/100 — every cluster mentioning CIFAR-10/100 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新的广义KL散度损失实现了最先进的鲁棒性
研究人员引入了广义Kullback-Leibler (GKL) 散度损失，这是对现有KL散度损失方法的改进。这种新的损失函数通过改进高预测分数类别的优化并减少样本偏差，解决了知识蒸馏等场景中的局限性。在CIFAR-10/100、ImageNet以及视觉-语言任务等数据集上的实验证明了GKL的有效性，在RobustBench上实现了最先进的对抗鲁棒性，并在知识蒸馏方面取得了有竞争力的性能。
-
新的双层框架增强了不平衡数据的知识蒸馏
研究人员开发了BiKD，一个新颖的双层优化框架，旨在改进不平衡数据集的知识蒸馏。该方法在考虑学生模型的学习行为的基础上，对每个样本的硬损失和软损失的权重进行动态调整。通过使用由小型验证集和多步SGD策略指导的权重生成网络，BiKD旨在比固定权重方法实现更有效的知识转移，并在CIFAR-10/100等不平衡数据集上取得了有希望的结果。