新的SOAP-Bubbles方法增强了神经网络的不确定性估计

研究人员推出了一种新颖的结构化权重不确定性估计方法SOAP-Bubbles。该方法通过在SOAP预处理器的特征空间内运行一种称为IVON的变分方法来调整SOAP优化器。预处理器随后将对角线估计转换为非对角线协方差，从而产生一种成本与SOAP相当且对现有训练流程干扰最小的方法。实验表明，SOAP-Bubbles（及其相关的优化器Eigenspace-VON或EVON）可以恢复逻辑回归的精确高斯协方差，并在语言模型预训练中取得优于当前对角线协方差技术的成果。 AI

影响 增强了深度学习大规模模型的表达性后验分布估计，可能提高模型的性能和可靠性。

排序理由 这是一篇发表在arXiv上的关于神经网络新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Eigenspace-VON
• Gotit.pub
• Hugging Face
• IArxiv
• language model pretraining
• logistic regression
• Neural Networks
• ScienceCast
• SOAP optimizer

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →