beta distribution

新的 IF-Beta 方法通过剪枝数据实现高效知识蒸馏

研究人员开发了 IF-Beta，一种利用可学习数据剪枝实现高效知识蒸馏的新颖框架。该方法结合了影响函数和 Beta 分布参数化采样策略，以识别对蒸馏影响最大的数据，从而降低计算开销。在 CIFAR-10/100 和 ImageNet 上的实验表明，IF-Beta 的性能始终优于现有方法，即使在训练数据和计算量远少于完整数据集的情况下，也能使学生模型获得卓越的性能。