实体
Megatron-Turing NLG
Megatron-Turing NLG
PulseAugur coverage of Megatron-Turing NLG — every cluster mentioning Megatron-Turing NLG across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
AI模型训练:更多数据,而非仅仅是规模,驱动性能提升
一项最新分析探讨了AI开发中模型规模(参数)和训练数据(token)之间的最佳平衡。与早期认为更大模型总是更优的观点相反,DeepMind的Chinchilla论文在2022年展示了一个拥有700亿参数的模型,通过训练更多数据,其表现优于一个拥有2800亿参数的模型。这表明那个时代许多大型模型训练不足,更有效的方法是按比例扩展参数和token。作者通过在笔记本电脑上训练小型模型进一步验证了这一点,表明即使在较小的规模下,对于固定的计算…
-
AMP创始人表示,AI扩展依赖于效率,而非仅仅是更多的GPU
AMP创始人Anjney Midha认为,AI扩展的争论应侧重于最大化现有GPU的效率,而不是仅仅购买更多GPU。他指出,前沿AI实验室通常在较低的模型浮点运算利用率(MFU)下运行,有些运行的MFU低于10%,远低于GPT-3的21%或PaLM的46%等历史基准。Midha强调,AI开发日益成为一个系统性问题,涉及调度、网络和数据管道,而AMP旨在创建一个计算网格,能够像电网一样高效地分配计算能力。