ridge penalty

新的正则化方法提高了神经网络的性能和复杂度控制

研究人员开发了新颖的基于范数的神经网络正则化技术，旨在提高预测性能和复杂度控制。这些方法通过纳入输入特征协方差结构来扩展经典的岭和套索惩罚。一种策略修改权重衰减以考虑特征依赖性，另一种策略将 L1 稀疏性与协方差感知的 L2 正则化相结合，以获得结构化感知权重。使用模拟和真实世界数据（包括建筑制冷负荷预测和白血病细胞分类）进行的评估表明，性能得到了增强，尤其是在处理相关或高维特征时。