PulseAugur
实时 12:51:46
实体 SOAP optimizer

SOAP optimizer

PulseAugur coverage of SOAP optimizer — every cluster mentioning SOAP optimizer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_105198 ·

    新的SOAP-Bubbles方法增强了神经网络的不确定性估计

    研究人员推出了一种新颖的结构化权重不确定性估计方法SOAP-Bubbles。该方法通过在SOAP预处理器的特征空间内运行一种称为IVON的变分方法来调整SOAP优化器。预处理器随后将对角线估计转换为非对角线协方差,从而产生一种成本与SOAP相当且对现有训练流程干扰最小的方法。实验表明,SOAP-Bubbles(及其相关的优化器Eigenspace-VON或EVON)可以恢复逻辑回归的精确高斯协方差,并在语言模型预训练中取得优于当前对角…