新的 $\sigma$N-Ens 方法可在深度学习集成中实现可控的多样性

研究人员开发了一种新的隐式集成方法，称为 $\sigma$N-Ens，它允许深度学习模型实现可控的多样性。与在初始化或架构设计时固定多样性的先前方法不同，$\sigma$N-Ens 将每个集成成员视为多任务架构中的一个任务，使用 sigmoid 边界缩放器来调制共享骨干网络。这种方法结合了 softmax 温度正则化器，能够塑造成员间的共享，并在分布变化下保持校准。在 CIFAR-10/100、ImageNet 和 SST-2 基准测试上的评估表明，$\sigma$N-Ens 在参数成本显著降低的情况下，在准确性和校准方面能与深度集成相媲美或超越。 AI

影响 以更低的计算成本增强了深度学习模型中的不确定性估计和校准。

排序理由 学术论文，详细介绍了深度学习中隐式集成的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• CIFAR-10
• CIFAR-100
• Hugging Face
• ImageNet
• Resnet
• $\sigma$N-Ens
• SST-2 Benchmark
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →