研究人员探索了机器学习中的知识蒸馏（KD）和mixup技术之间的相互作用，特别是在mixup仅在学生模型训练期间应用时。他们发现这种设置导致教师模型在未见过的数据分布上被查询，从而使其监督信号侧重于分布混淆而非类间结构。尽管如此，与CIFAR和ImageNet数据集上的基线相比，学生模型独立地发展出更高的线性度，并将准确性和过度自信提高了两个数量级。 AI
影响 这项研究将mixup蒸馏重新定义为一个更丰富的迁移通道，有可能提高模型性能和不确定性估计。
排序理由 该集群包含一篇详细介绍机器学习新研究发现的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.12171v1 Announce Type: cross Abstract: Knowledge Distillation (KD) and mixup have proven effective at inducing smoothness in class boundaries; KD captures inherent class relationships in probability distributions, and mixup enforces them through convex combinations of …
Knowledge Distillation (KD) and mixup have proven effective at inducing smoothness in class boundaries; KD captures inherent class relationships in probability distributions, and mixup enforces them through convex combinations of inputs. Their interaction, however, remains poorly…