实体 Chenyu Zheng

Chenyu Zheng

PulseAugur coverage of Chenyu Zheng — every cluster mentioning Chenyu Zheng across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_336072 · Nov 2 · 05:00

新的谱框架增强了生成基础模型的扩展性

研究人员开发了一个谱框架，以应对扩展生成基础模型所面临的挑战，特别是在不同宽度和深度下实现稳定的特征学习和超参数迁移。该框架统一了现有的最大更新参数化（$\mu$P）公式，并指出CompleteP风格的参数化更适合Transformer等架构。在GPT-2风格模型上的实验表明，与标准的或Depth-$\mu$P风格的参数化不同，这种CompleteP风格的参数化确保了稳定的学习和鲁棒的超参数迁移。