Sharpness aware minimization
PulseAugur coverage of Sharpness aware minimization — every cluster mentioning Sharpness aware minimization across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新EISAM优化器增强深度学习泛化能力
研究人员推出了一种名为“受外梯度启发的锐度感知最小化”（EISAM）的新型优化器，旨在提高深度学习的泛化能力。EISAM采用两步过程，包括预测和扰动步骤，以导航损失景观并找到更平坦的最小值。该方法旨在减少过拟合并提高在未见数据上的性能，其表现优于SGD和Adam等传统优化器以及标准的SAM。EISAM还显示出对扰动半径的敏感性降低，从而简化了调整并提高了跨各种架构和数据集的鲁棒性。
-
联邦学习研究通过频域分析解决客户端漂移问题 · 已追踪 2 个来源
两篇新研究论文 FedFFT 和 SpecGradFilter 提出新颖方法，通过分析频域中的梯度扰动来解决联邦学习中的客户端漂移问题。两篇论文都指出，客户端更新中的不一致性，尤其是在使用 Sharpness-Aware Minimization (SAM) 时，集中在低频分量。通过过滤这些低频信号，它们各自的框架旨在提高模型泛化能力和收敛性，尤其是在非独立同分布（non-IID）数据分布下，而不会显著增加通信开销。
-
新研究表明锐度感知最小化可改善AI模型校准
一篇新研究论文探讨了锐度感知最小化（SAM）如何改善深度神经网络的校准，使其在关键应用中不易过度自信。研究表明SAM隐式地最大化了预测分布熵，从而提高了校准效果。研究人员还提出了一种名为CSAM的变体，可进一步增强校准，并在ImageNet-1K等数据集的实验中显示出优于SAM和其他方法的性能。
-
新的TALAS框架提高了语言模型蒸馏效率
研究人员推出了一种用于预训练语言模型知识蒸馏的新框架TALAS。TALAS将分层对齐与先进的优化技术同步，以提高效率和性能。该框架选择性地将最终句子嵌入蒸馏到学生模型的上层，并为下层使用自蒸馏，同时结合自适应感知最小化以增强泛化能力。
-
新研究深入探讨 SAM 优化器的稳定性和自适应学习
两篇新研究论文深入探讨了 Sharpness-Aware Minimization (SAM) 的复杂性，SAM 是一种流行的深度学习训练技术。第一篇论文分析了 SAM 在鞍点附近的收敛不稳定性，理论上证明它可以成为一个吸引子，并且动量和批次大小可能对缓解此问题至关重要。第二篇论文为 SAM 专门引入了自适应的 Polyak 型步长调度器，旨在减少对大量学习率调整的需求，同时保持或提高性能。
-
新方法利用无标签数据提高深度学习泛化能力
研究人员开发了一种名为不一致感知最小化（IAM）的新方法，以提高深度学习模型的泛化能力，特别是在使用无标签数据时。IAM引入了一种新的度量标准，称为局部不一致性，该度量标准无需显式标签即可计算，并且与泛化差距相关。通过将局部不一致性纳入训练目标，该方法提高了监督学习的性能，并在半监督和自监督场景中显示出潜力。
-
新的 LE-SAM 方法在模型泛化方面优于传统 SAM
研究人员推出了一种名为损失均衡 SAM (LE-SAM) 的新方法，以增强机器学习模型的泛化能力。该方法通过关注固定的损失空间预算而非固定的扰动半径，解决了锐度感知最小化 (SAM) 中的不匹配问题。LE-SAM 有效地优先考虑了以曲率为导向的优化项而非梯度范数信号。实验表明，LE-SAM 在各种基准测试中持续优于 SAM 及其变体，取得了最先进的成果。
-
SMF和SAM等新方法减少了LLM的灾难性遗忘
两篇新研究论文探讨了在微调过程中减轻语言模型灾难性遗忘的方法。其中一篇论文介绍了稀疏记忆微调（SMF），该方法增加了记忆层并仅更新访问量大的行，在医学考试任务上表现出改进的性能，同时通用能力损失最小。另一篇论文研究了锐度感知最小化（SAM）和其他预训练优化技术，证明偏向更平坦的最小值可以显著减少各种模型大小和训练后场景下的遗忘。