研究人员推出了一种新颖的优化器 PsiLogic，旨在改进现有的自适应方法，如 Adam 和 AdamW。PsiLogic 根据训练的稳定性动态调整其更新规则，采用混沌检测器在不稳定阶段增强阻尼，并在训练收敛时逐渐减弱。这种方法旨在提供隐式的预热而无需手动调整。在使用 NVIDIA H100 GPU 上的 FairBench 基准测试进行评估时，PsiLogic 在测试的四个领域中的三个领域（包括 NLP 困惑度和 ViT/ResNet 准确度）中表现出卓越的性能，同时保持了相当的 GPU 内存使用量，但增加了轻微的挂钟时间开销。 AI
影响 引入了一种新的优化技术，可能导致更稳定、更高效的深度学习模型训练。
排序理由 该集群包含一篇详细介绍深度学习模型新优化算法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
