一篇新论文介绍了一种解决ReLU网络中尺度不变性问题的方法,即不同的权重配置可以表示相同的函数。作者证明,由于标准经验贝叶斯拉普拉斯近似依赖于Hessian,而Hessian在尺度变换下不是不变的,因此它对于这些网络来说定义不当。为了解决这个问题,他们提出了一种“gamma-canonicalization”程序,该程序在拟合近似之前将网络转换为规范形式,从而确保尺度兼容性和一致的预测不确定性。 AI
影响 引入了一种提高ReLU网络近似可靠性的方法,可能导致更一致的模型行为。
排序理由 该集群包含一篇详细介绍神经网络近似新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →