实体 spectral cap

spectral cap

PulseAugur coverage of spectral cap — every cluster mentioning spectral cap across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_158579 · Jul 23 · 04:00

新的谱盖方法通过控制权重矩阵几何结构来增强LLM训练

研究人员提出了一种名为“保持各向同性的谱盖”（Isotropy-Preserving Spectral Cap）的新方法，以改进大型语言模型（LLM）的训练。该技术旨在控制训练过程中权重矩阵的内部几何结构，而这在使用Muon等优化器时尚未完全理解。谱盖通过从每次更新中投影出顶部奇异方向的增长来工作，从而在不中断训练的情况下控制输出协方差。在nanoGPT、混合专家路由器（mixture-of-experts routers）和Flas…