English(EN) One-for-All Model Initialization with Frequency-Domain Knowledge

新的FRONT框架支持无训练的模型初始化

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-26 04:00

研究人员开发了一个名为FRONT的新框架，该框架利用频域知识实现更高效的模型初始化。该方法将模型的基础知识（称为“learngene”）与权重的低频分量分离开来。然后，learngene可以用于初始化任何大小的模型，而无需重新训练，从而显著加快收敛速度并降低计算成本。 AI

影响通过跨不同模型大小重用基础知识，实现更快、更高效的模型训练。

排序理由这是一篇关于模型初始化新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.LG TIER_1 English(EN) · Jianlu Shen, Fu Feng, Yucheng Xie, Jiaqi Lv, Xin Geng · 2026-05-26 04:00

面向所有模型的频域知识初始化

arXiv:2603.07523v2 Announce Type: replace Abstract: Transferring knowledge by fine-tuning large-scale pre-trained networks has become a standard paradigm for downstream tasks, yet the knowledge of a pre-trained model is tightly coupled with monolithic architecture, which restrict…