BEiT-3

新研究探讨深度学习的不确定性和泛化问题

研究人员正在开发新方法来提高深度学习模型的可靠性和可理解性。一篇论文介绍了校准方差传播（CVP），以仅需传统方法计算成本的一小部分即可为Transformer和CNN提供准确的不确定性估计。另一项研究通过考虑输入空间子区域内的局部鲁棒性和稳定性，提出了更紧的泛化界限，并在ImageNet上显示了改进的估计。第三项贡献探讨了贝叶斯原理以理解深度学习中的泛化，为不确定性估计提供了新框架，并建立了多样性、平滑性和随机性之间的理论联系。