PulseAugur
中
实时 05:50:51
English(EN) PAC--Bayes Bounds on Quotient Parameter Spaces: Geometry-induced Implicit-Bias Priors

新的PAC-贝叶斯分析方法用于过参数化模型

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种新的PAC-贝叶斯分析方法，用于处理具有连续参数对称性的过参数化模型。通过在商预测器空间上进行分析，该方法消除了仅由参数化差异引起的KL贡献。选择一个规范的参数化以反映模型的隐式偏差，近似一个理想的后验匹配先验。该方法在傅里叶回归和查询-键注意力模型中使用SGD进行了测试，显示了商空间KL和PAC-贝叶斯证书的减少。 AI

影响 为理解和分析过参数化模型引入了更精确的理论框架，可能导致模型设计和训练的改进。

排序理由 学术论文，详细介绍了一种分析机器学习模型的新理论方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的PAC-贝叶斯分析方法用于过参数化模型

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Nicola Aladrah, Fabio Anselmi ·

    PAC--商空间上的贝叶斯界：几何诱导的隐式偏置先验

    arXiv:2607.18422v1 Announce Type: new Abstract: Overparameterized models often have continuous parameter symmetries, so different parameters define the same predictor. We show that PAC--Bayesian analysis should be performed on the quotient predictor space: pushing a prior and pos…

相关实体

相关话题