研究人员开发了一种名为SOAP-Bubbles的新方法来估计神经网络中的结构化权重不确定性，使其更高效、更易于实现。该方法通过在SOAP预处理器的特征空间中运行一种称为IVON的变分方法来调整SOAP优化器。由此产生的技术Eigenspace-VON (EVON) 提供了与SOAP相当的成本，并在语言模型预训练中显示出优于现有对角协方差方法的出色结果。 AI
影响 简化了深度学习模型表达性后验分布的估计，可能提高语言模型预训练等任务的性能。
排序理由 该集群包含一篇详细介绍神经网络新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
