English(EN) Dataset Distillation Efficiently Encodes Low-Dimensional Representations from Gradient-Based Learning of Non-Linear Tasks

面向两层神经网络的数据集蒸馏理论解释

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-07 04:00

研究人员从理论上分析了应用于两层神经网络基于梯度的训练的数据集蒸馏算法。该研究聚焦于一种称为多索引模型的非线性任务结构，证明了问题的低维结构被有效地编码到生成的蒸馏数据中。这种合成数据可以重现具有高泛化能力的模型，所需的内存复杂度为 $\tilde{\Theta}$$(r^2d+L)$，其中 $d$ 和 $r$ 是任务的输入维度和内在维度。 AI

影响为数据集蒸馏提供了理论基础，有望提高模型训练和数据存储的效率。

排序理由学术论文，详细介绍了数据集蒸馏算法的理论分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv stat.ML TIER_1 English(EN) · Yuri Kinoshita, Naoki Nishikawa, Taro Toyoizumi · 2026-07-07 04:00

Dataset Distillation 高效编码梯度学习非线性任务的低维表示

arXiv:2603.14830v3 Announce Type: replace-cross Abstract: Dataset distillation, a training-aware data compression technique, has recently attracted increasing attention as an effective tool for mitigating costs of optimization and data storage. However, progress remains largely e…

报道来源 [1]

Dataset Distillation 高效编码梯度学习非线性任务的低维表示

相关实体

相关话题