Daphna Weinshall

新的VISTA框架应对深度学习轨迹偏差

研究人员推出了一种新颖的自蒸馏框架VISTA，旨在解决深度学习模型中的轨迹偏差问题。当模型在不触发传统过拟合信号的情况下，放弃先前为特定数据子集学习到的特征时，就会出现这种现象。VISTA采用了一种经过验证的边缘覆盖得分来识别专家锚点，这些锚点是具有专业数据能力的早期模型状态。通过在训练过程中整合这些锚点的覆盖加权集成，VISTA对损失景观进行正则化并保留知识，在提高鲁棒性和泛化能力的同时，显著降低了存储开销，优于现有方法。