PulseAugur
中
实时 06:23:25
实体 Hoffmann et al.

Hoffmann et al.

PulseAugur coverage of Hoffmann et al. — every cluster mentioning Hoffmann et al. across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 4 条
  1. TOOL · CL_311628 ·

    AI模型训练:更多数据,而非仅仅是规模,驱动性能提升

    一项最新分析探讨了AI开发中模型规模(参数)和训练数据(token)之间的最佳平衡。与早期认为更大模型总是更优的观点相反,DeepMind的Chinchilla论文在2022年展示了一个拥有700亿参数的模型,通过训练更多数据,其表现优于一个拥有2800亿参数的模型。这表明那个时代许多大型模型训练不足,更有效的方法是按比例扩展参数和token。作者通过在笔记本电脑上训练小型模型进一步验证了这一点,表明即使在较小的规模下,对于固定的计算…

  2. RESEARCH · CL_312721 ·

    脉冲语言模型显示出与Transformer相似的计算最优缩放

    一篇新论文介绍了首个面向脉冲语言模型(SLMs)的“Chinchilla风格”IsoFLOP缩放研究,使用了带有RWKV骨干的SpikeGPT系列。研究发现,SLMs的计算最优前沿与计算的0.56次方成正比,与密集Transformer相似,表明参数和数据之间的权衡保持一致。该研究还量化了SLMs中稀疏性的准确性成本,并指出随着计算预算的增加,骨干成本固定而脉冲成本降低。

  3. RESEARCH · CL_294428 ·

    脉冲神经网络推动节能语言建模 · 跟踪3个来源

    研究人员正在探索开发用于语言建模的脉冲神经网络(SNN),旨在比传统Transformer模型实现更高的能效。一种名为NeuronSpark的方法引入了自适应神经元动力学和门控记忆,能够从头开始进行大规模预训练,在硬件上展现出具有竞争力的性能和显著的节能效果。另一项研究调查了SNN的计算最优缩放定律,发现参数与数据之间的权衡与Transformer相似,但量化了脉冲带来的准确性成本。第三篇论文提出了一种由LLM引导的进化方法来发现原生…

  4. TOOL · CL_15851 ·

    新研究表明,为实现最优计算,模型规模应与数据字节而非 token 数量成比例增长

    一篇新论文探讨了 token 粒度对语言模型缩放定律的影响。研究人员训练了 988 个具有不同参数数量和压缩率的模型,以研究分词如何影响计算效率。研究发现,模型参数应与数据字节大小成比例增长,而非 token 数量,并且最优压缩率随计算量而降低,为开发者提供了指导。