The Pile
PulseAugur coverage of The Pile — every cluster mentioning The Pile across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的大语言模型训练方法优化数据调度以提高效率和性能
研究人员开发了通过先进数据调度技术优化大语言模型（LLM）训练的新方法。一种方法是整体数据调度器（HDS），它使用多目标强化学习在预训练期间动态调整数据混合，从而在 The Pile 和 MMLU 等基准测试中显著提高训练效率和模型性能。另一种方法是自适应数据调度（ADS），它通过从统一数据采样转向语义集群和策略边界样本的自适应分布，专注于改进训练后强化学习，在推理基准测试中显示出优势。此外，一种使用精选数据集和最小 GRPO 设置的…
-
研究人员追踪1B级语言模型中的注意力回路形成
一篇新研究论文调查了语言模型中注意力回路的出现，特别追踪了不同类型的注意力头在不同模型架构和训练数据集中的形成方式。研究发现，模型中的早期层始终未能开发出特定类型的注意力头，并且这些回路的形成可能遵循不同的模式，例如渐进式增长或急剧的阶段性转变。重要的是，研究表明，像归纳（induction）这样的关键回路的识别可以在训练过程早期实现，这表明模型能力与训练完成前的回路发展密切相关。
-
新的VPD方法分解语言模型参数，提高可解释性
研究人员引入了对抗性参数分解（VPD），一种改进的语言模型参数解释方法。这项新技术建立在先前工作如随机参数分解（SPD）和基于归因的参数分解（APD）的基础上。VPD能够分解注意力层，这是可解释性方法在历史上一直面临的挑战领域，并构建归因图来可视化模型行为。
-
RWKV 项目复兴 RNN，挑战 Transformer 在大语言模型中的主导地位
RWKV（Receptance Weighted Key Value）项目引入了一种新颖的架构，它复兴了循环神经网络（RNN），同时融入了通常在 Transformer 中发现的优势。这种方法旨在克服传统 Transformer 的扩展限制，尤其是在训练和推理方面，同时在推理基准测试中保持具有竞争力的性能。RWKV 项目的特点是其分布式、国际化且主要由志愿者驱动的社区，这与早期 EleutherAI 的努力有相似之处。