Counterfactual Knowledge Distillation
PulseAugur coverage of Counterfactual Knowledge Distillation — every cluster mentioning Counterfactual Knowledge Distillation across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新 DiDAE 方法通过更快的反事实来解决基础模型漏洞
研究人员推出了一种名为解耦扩散自编码器（DiDAE）的新方法，旨在解决基础模型中的漏洞，例如虚假关联和“聪明汉斯”策略。DiDAE 将一个冻结的基础模型与一个条件扩散解码器集成，通过闭式编辑实现反事实的创建。这种方法比现有方法快得多，速度提高了 2000 倍，并通过反事实知识蒸馏（CFKD）在修复下游分类器方面显示出有效性。该框架可通过开源的 Peal 库进行访问。
-
新研究：反事实公平不等于群体公平在图像分类中
一篇新发表在arXiv上的研究论文，探讨了图像分类中反事实公平（CF）与群体公平（GF）之间的关系。研究人员构建了新的数据集 \oursceleb 和 \ourslfw，以同时评估这两种公平性度量。他们的发现表明，在图像分类中，CF并不一定意味着GF，这与之前在表格数据集上的观察结果不同。这种差异归因于存在与敏感属性相关的潜在属性，例如第二性征和头发长度。为了解决这个问题，该研究提出了反事实知识蒸馏（CKD）作为一种减少对这些潜在属性…
-
新的DiDAE框架能够为基础模型实现更快、可扩展的对立样本生成
研究人员推出了一种名为Visual Disentangled Diffusion Autoencoders (DiDAE)的新框架，旨在为基础模型生成对立样本数据。该方法集成了解耦字典学习与扩散自编码器，能够高效地创建多样化、可解释的对立样本，而无需基于梯度的优化。当与对立样本知识蒸馏相结合时，DiDAE-CFKD方法在减少捷径学习和提高不平衡数据集性能方面取得了最先进的成果。