Zhaoyi Liu

新的谱球约束超连接改进AI模型稳定性

研究人员引入了谱球约束超连接（$\mathrm{s}^2$HC）来解决现有超连接（HC）模型中的局限性。当前方法，如流形约束超连接（mHC），由于其双重随机约束，面临身份退化、表达瓶颈和参数化效率低下等问题。新的$\mathrm{s}^2$HC方法将残差矩阵限制在谱范数球内，从而能够更好地控制次主谱，并选择性地保留或衰减跨流变异。该方法旨在提高训练稳定性和模型表达能力，同时避免了先前技术的缺点。