PulseAugur
中
实时 08:12:55
English(EN) Student Capacity Moderates Knowledge Distillation Effectiveness: A Systematic Study Across ResNet Teacher-Student Pairs on CIFAR-10

学生容量和架构正确性是知识蒸馏的关键

作者 PulseAugur 编辑部 · [2 个来源] ·

一篇新发表在arXiv上的研究论文，调查了在CIFAR-10图像分类任务上，ResNet模型中知识蒸馏（KD）的有效性。研究发现，学生模型的容量显著影响蒸馏收益，容量更大的学生模型受益更多。该研究还强调了实现正确性的关键重要性，指出梯度裁剪中的一个bug曾抑制了Feature-KD的性能。此外，确保架构能够感知输入分辨率被认为是有效蒸馏的先决条件。 AI

影响 强调了优化学生模型容量和确保架构正确性对于图像分类中有效知识蒸馏至关重要。

排序理由 该集群包含一篇阐述机器学习技术研究结果的学术论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Umut Onur Yasar ·

    学生容量缓和知识蒸馏效果：在CIFAR-10上的ResNet师生对的系统性研究

    arXiv:2605.31191v1 Announce Type: new Abstract: We investigate how teacher-student capacity relationships modulate knowledge distillation (KD) effectiveness in ResNet-based image classification on CIFAR-10. Across three teacher-student pairs -- R50->R18, R34->R18, and R50->R34 --…

  2. arXiv cs.CV TIER_1 English(EN) · Umut Onur Yasar ·

    学生容量限制知识蒸馏效果：一项在ResNet师生模型对上的CIFAR-10系统研究

    We investigate how teacher-student capacity relationships modulate knowledge distillation (KD) effectiveness in ResNet-based image classification on CIFAR-10. Across three teacher-student pairs -- R50->R18, R34->R18, and R50->R34 -- we compare Logit-KD and Feature-KD under contro…

相关实体

相关话题