Yiyang Jia

新的SMGrNN模型在学习过程中适应神经网络架构

研究人员推出了一种新颖的梯度训练控制器——自激励生长神经网络（SMGrNN），该控制器旨在在学习过程中动态调整其架构。与需要预定义容量的传统多层感知机不同，SMGrNN利用结构可塑性模块（SPM）实时监控权重更新统计数据并触发神经元插入或修剪。在控制基准上的评估表明，SMGrNN以更低的方差和适合任务的网络规模实现了相当或更优的回报，突显了梯度训练网络中局部结构可塑性的独立价值。