实体 SoftSignum

SoftSignum

PulseAugur coverage of SoftSignum — every cluster mentioning SoftSignum across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_62318 · May 29 · 14:41

新的Softsign优化器改进了深度学习参数处理

研究人员推出了一种新颖的优化方法SoftSignum，旨在改进深度学习中的参数异质性处理。该技术通过温度控制的软符号变换来平滑基于符号的更新机制，从而实现从类符号到幅度敏感方法的自适应步长转换。实验（包括LLM预训练）表明，SoftSignum及其矩阵值对应物SoftMuon的性能优于AdamW等现有方法。