dataset distillation
PulseAugur coverage of dataset distillation — every cluster mentioning dataset distillation across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
面向两层神经网络的数据集蒸馏理论解释
研究人员从理论上分析了应用于两层神经网络基于梯度的训练的数据集蒸馏算法。该研究聚焦于一种称为多索引模型的非线性任务结构，证明了问题的低维结构被有效地编码到生成的蒸馏数据中。这种合成数据可以重现具有高泛化能力的模型，所需的内存复杂度为 $\tilde{\Theta}$$(r^2d+L)$，其中 $d$ 和 $r$ 是任务的输入维度和内在维度。
-
新方法增强AI模型适应性，提高其在对抗性攻击和数据漂移下的鲁棒性 · 追踪6个来源
研究人员开发了新的方法来提高机器学习模型在测试时适应（TTA）的鲁棒性，尤其是在对抗性攻击和不断变化的数据分布场景下。一种名为SAFER的方法，利用随机增强和可靠性引导池来增强弹性，而无需源数据。另一个框架DO-ALL采用数据集蒸馏来创建用于稳定长期适应的合成锚点，通过避免保留原始源数据来解决隐私问题。此外，还提出了一个基于状态空间模型的概率框架用于在线TTA，以表征参数学习和演化。最后，双分布估计（DDE）提供了一种无需训练的方法，…
-
新研究表明数据集蒸馏效果不如核心集选择
一篇新的研究论文批判性地评估了数据集蒸馏（DD）方法，发现它们通常不如更简单的核心集选择（CS）策略，尤其是在ImageNet等大规模数据集上。该研究将七种最先进的DD方法与三种CS策略进行了基准测试，结果显示DD方法的计算成本可能更高，且实际优势有限。核心集还能更好地覆盖原始数据分布。
-
新研究探索用于AI模型的先进压缩技术
研究人员正在探索压缩大型模型和数据集以提高效率的新颖方法。论文讨论了数据集剪枝和蒸馏的统一、图像生成的自举标记化以及用于LLM和VLM的激活感知低秩压缩。其他工作侧重于通用三潜在序列模型、不完美压缩下的预测的理论方面，以及LLM压缩的架构和量化选择的联合优化。
-
新的D3S2方法为语义分割提炼数据集
研究人员开发了D3S2，一个专门为语义分割任务设计的、新颖的数据集提炼框架。该方法通过一个涉及平衡掩码选择和扩散引导图像合成的两阶段方法，解决了类别不平衡和精确像素对齐等挑战。D3S2通过引导扩散采样确保空间对齐并提高训练效用，即使在1%的压缩率下，也能在基准数据集上显著提高平均交并比（mIoU）分数。
-
新研究通过语义因素和显式反馈解决推荐系统挑战
研究人员正在开发新方法来改进推荐系统，以解决当前模型的局限性。一种名为 SaFeAU 的方法通过整合语义因素来增强协同过滤，以更好地处理稀疏数据并捕捉更高阶的信号。另一个重点领域是利用用户的显式反馈（如评论和评价）来更准确地使推荐与用户偏好保持一致，并减少过滤气泡。此外，还在探索数据集蒸馏（FOSTER、Rec-Distill）和嵌入控制（ACE）等技术，以使大规模推荐模型在实际部署中更高效、更有效。