Schatten-p norm

研究论文详述深度学习中Schatten-p范数的最佳用法

一篇新研究论文探讨了Schatten-p范数在深度学习中的最佳用法，特别是在与Muon等优化器相关的方面。研究表明，这些范数的有效性取决于特定机制，在低维设置（包括与Chinchilla缩放相关的设置）中，较小的Schatten-p几何结构被证明是最佳的。该分析还深入探讨了为何类似Muon的方法倾向于使用大批量，并为不同p值下的批量大小提供了缩放规则。