Kullback--Leibler loss

贝叶斯神经网络的统计最优性分析

研究人员探讨了贝叶斯神经网络（BNNs）的统计决策理论方面，重点关注其最优性。一篇新论文研究了在二次损失下，深度全连接前馈 ReLU BNNs 引起的决策规则。研究表明，在固定先验尺度下，贝叶斯决策规则不是minimax的，但提出了一种对有效输出方差的超先验，以实现一个同时是可容许和minimax的规则。这些发现通过 Kullback--Leibler 损失的预测密度估计得到扩展，并通过模拟进行了验证。