研究人员开发了 Robust CurveMoE,一个旨在增强混合专家(MoE)模型对抗防御能力的新框架。该方法通过识别低损耗路径,有效地连接了针对不同范数约束专业化的专家模型,从而缓解了通常在竞争性鲁棒性目标中出现的权衡。该方法选择性地专业化有影响力的层,并采用基于贡献的部分更新技术来降低训练成本,在 CIFAR-100 和 ImageNet-100 数据集上的各种架构中均显示出准确性提高。 AI
影响 为 MoE 模型引入了一种更有效的对抗防御方法,有可能在没有显著计算开销的情况下提高鲁棒性。
排序理由 该集群描述了一篇详细介绍新模型架构和防御机制的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →