Kaplan et al.
PulseAugur coverage of Kaplan et al. — every cluster mentioning Kaplan et al. across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
成本分析显示,微调70B模型的费用为每百万token 1-2美元
微调一个拥有700亿参数的模型,每百万训练token的成本在1到2美元之间,而一个2000万token的LoRA运行估计约为20美元。成本主要取决于训练的token数量和实验运行次数,GPU利用率和每小时费率也起着重要作用。LoRA、QLoRA和梯度检查点等因素会影响每个token的计算操作,从而影响总费用。虽然完全微调涉及更多的计算和内存,但与LoRA相比,成本差异不如GPU速度和每小时定价的影响显著,像Nvidia B200这样的…
-
AI模型训练时间因模型大小和GPU数量而异,从几分钟到几个月不等
在云GPU上训练AI模型所需时间可能从几分钟到几个月不等,这很大程度上取决于模型大小、数据集大小以及使用的GPU数量。一项小型微调任务可能不到五分钟即可完成,而从头开始训练一个包含数十亿个token的大型语言模型可能需要数十个高端GPU(如NVIDIA H100)运行数天。GPU利用率、GPU之间的通信开销以及处理的总token数量等因素,都会显著影响最终的训练时间和成本。
-
AI模型训练:更多数据,而非仅仅是规模,驱动性能提升
一项最新分析探讨了AI开发中模型规模(参数)和训练数据(token)之间的最佳平衡。与早期认为更大模型总是更优的观点相反,DeepMind的Chinchilla论文在2022年展示了一个拥有700亿参数的模型,通过训练更多数据,其表现优于一个拥有2800亿参数的模型。这表明那个时代许多大型模型训练不足,更有效的方法是按比例扩展参数和token。作者通过在笔记本电脑上训练小型模型进一步验证了这一点,表明即使在较小的规模下,对于固定的计算…
-
新研究表明,为实现最优计算,模型规模应与数据字节而非 token 数量成比例增长
一篇新论文探讨了 token 粒度对语言模型缩放定律的影响。研究人员训练了 988 个具有不同参数数量和压缩率的模型,以研究分词如何影响计算效率。研究发现,模型参数应与数据字节大小成比例增长,而非 token 数量,并且最优压缩率随计算量而降低,为开发者提供了指导。