研究人员开发了一种快速高斯-牛顿（FGN）方法来近似多类别交叉熵的广义高斯-牛顿（GGN）曲率。这种新方法将标准的GGN分解为一个真值与其余项和一个正半定竞争者内部协方差项，并舍弃后者以创建一种高效的低估近似。FGN方法对于二元分类是精确的，并且可以使用无矩阵共轭梯度方法高效求解，有望扩大训练规模。 AI
影响 为具有许多类别的深度学习模型的训练引入了更有效的近似方法，可能加快收敛速度。
排序理由 详细介绍多类别交叉熵新算法近似的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
