Bregman discrepancies

新的贝叶斯学习规则超越KL几何

研究人员开发了一种新的贝叶斯学习规则（BLR），它超越了Kullback-Leibler散度（KLD）几何的限制。这种广义BLR利用混合空间Bregman或Fenchel-Young散度，实现了加性信息几何优化算法。新方法可以推导出广义最大熵族和正则梯度更新，这可能带来经典基于KL的BLR无法实现的算法。在CIFAR-100上的实验表明，这种广义BLR可以产生可控的支持和重尾q-高斯后验，并具有竞争力。