$\sigma$Transfer

$\sigma$Transfer 实现小到大神经网络的高效不确定性迁移

研究人员开发了一种名为$\sigma$Transfer的方法，可以实现将预测不确定性信息从小型神经网络高效地迁移到显著更大的网络中。该技术利用最大更新参数化（$\mu\text{P}$）来确保模型宽度增加时先验精度的稳定性，从而无需对大型模型进行昂贵的后验扫描。$\sigma$Transfer 已显示出显著的加速效果，在某些情况下高达5000倍，同时目标NLL的下降极小，并且还可以用于迁移与分布外检测和弃权相关的决策。