PulseAugur
实时 11:48:22
English(EN) Improving Generalization by Permutation Routing Across Model Copies

新的 M-cover 变换通过结构化消息共享提高模型泛化能力

研究人员开发了一种名为 M-cover 变换的新机器学习技术,该技术通过在多个模型副本之间路由信息来提高模型泛化能力。该方法不平均参数,而是使用从混合核采样的排列来确定模型副本之间如何共享局部学习消息。这种结构化消息共享框架可以应用于包括神经网络在内的各种模型,提供了一种在不折叠副本或耦合参数的情况下增强泛化能力的方法。 AI

影响 引入了一种增强模型泛化能力的新颖方法,有望带来更强大的 AI 系统。

排序理由 详细介绍新机器学习方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的 M-cover 变换通过结构化消息共享提高模型泛化能力

报道来源 [1]

  1. arXiv stat.ML TIER_1 English(EN) · Timothee Leleu ·

    Improving Generalization by Permutation Routing Across Model Copies

    We introduce a use of the \(M\)-cover (or \(M\)-layer) transform for machine learning. The method replicates a model \(M\) times, but instead of coupling the copies through parameter averaging or an explicit attractive force, as in replicated SGD or Elastic SGD, it rewires the co…