研究人员开发了 IF-Beta，一种利用可学习数据剪枝实现高效知识蒸馏的新颖框架。该方法结合了影响函数和 Beta 分布参数化采样策略，以识别对蒸馏影响最大的数据，从而降低计算开销。在 CIFAR-10/100 和 ImageNet 上的实验表明，IF-Beta 的性能始终优于现有方法，即使在训练数据和计算量远少于完整数据集的情况下，也能使学生模型获得卓越的性能。 AI
影响 这项研究为训练紧凑型 AI 模型提供了一种计算效率更高的方法，有可能加速在资源受限环境中的部署。
排序理由 详细介绍知识蒸馏新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.25488v1 Announce Type: new Abstract: Knowledge Distillation (KD) is widely used to obtain compact models for efficient inference in resource-constrained environments. Yet the computational overhead of the distillation process itself is often overlooked, raising the que…
Knowledge Distillation (KD) is widely used to obtain compact models for efficient inference in resource-constrained environments. Yet the computational overhead of the distillation process itself is often overlooked, raising the question of whether a better student model can be o…