Mahir Shahriar Tamim

新的CAT-GS方法稳定多模态神经网络训练

研究人员开发了CAT-GS，一种旨在提高多模态神经网络训练稳定性的新型优化控制器。该方法在不改变模型架构或任务损失的情况下，解决了模态不平衡、门控不稳定和融合梯度冲突等常见问题。CAT-GS采用温度缩放、EMA平滑和梯度重整等技术来稳定神经动力学并减少跨模态干扰。在各种视听和三模态基准上的评估表明，与现有的不平衡感知基线相比，CAT-GS实现了具有竞争力或更优的准确性，同时还表现出更平滑的门控行为和更少的融合梯度冲突。