Wuyang Zhou

KromHC 使用克罗内克积改进神经网络训练

研究人员推出 KromHC，一种用于提高神经网络训练稳定性和可扩展性的新颖方法。KromHC 通过使用较小的双重随机矩阵的克罗内克积来参数化残差矩阵，从而解决了现有超连接 (HC) 的局限性。这种方法保证了精确的双重随机性，同时与以前的方法相比，显著减少了可训练参数的数量。实验表明，KromHC 在参数数量大大减少的情况下，性能与最先进的变体相当或更好。