wikitext
PulseAugur coverage of wikitext — every cluster mentioning wikitext across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新理论从语言统计预测神经缩放定律
研究人员开发了一种新理论，可以定量预测在自然语言数据集上训练的大型语言模型（尤其是在数据受限的情况下）的神经缩放定律的指数。该理论确定了语言的两个关键统计特性：成对标记相关性的衰减和下一标记条件熵随上下文长度的衰减。推导出的公式没有自由参数，可以根据这些语言统计数据准确预测缩放指数，并已在 TinyStories 和 WikiText 基准上训练的 GPT-2 和 LLaMA 等模型上得到验证。
-
HOLA 为线性注意力模型增强了互补记忆系统
研究人员开发了一种名为 HOLA（海马体线性注意力）的新方法，以增强线性注意力和状态空间语言模型的记忆能力。该方法引入了一个互补的“海马体”组件，用于存储精确的键值关联，解决了传统循环状态可能覆盖早期事实的损失性质。HOLA 在有界精确缓存旁边维护一个压缩记忆，从而能够高效存储线性可压缩结构，同时保留关键关联。这种半参数记忆系统在 Wikitext 和 LAMBADA 基准测试中的困惑度方面取得了显著改进，并在“针尖麦芒”召回测试中表…
-
新的HOLA架构通过双记忆系统增强线性注意力语言模型
研究人员开发了HOLA（海马体线性注意力）架构，这是一种通过引入互补记忆系统来增强线性注意力语言模型的新型架构。该系统解决了标准线性注意力模型中信息丢失的问题，在这些模型中，由于固定大小的循环状态，早期事实可能会被覆盖。HOLA在保持压缩状态的同时，增加了精确的KV缓存来存储关键关联，从而提高了召回率并降低了困惑度。
-
新的ROCKET-ActCost方法展示了大语言模型压缩的权衡
研究人员探索了一种压缩大语言模型（LLMs）的新方法，称为ROCKET-ActCost，该方法将分配成本与输出空间目标对齐。当应用于50%压缩的Qwen3-8B时，ROCKET-ActCost在零样本基准的平均准确率方面略有提高，但在WikiText困惑度方面有所升高。研究发现，不同的分配目标会导致准确率和困惑度之间的权衡，而权重空间和输出空间误差之间的相关性限制了这些方法的发散。
-
新框架支持数十亿参数Transformer模型的线性合并
研究人员开发了一个新的框架，用于合并大型预训练Transformer模型，特别是那些拥有数十亿参数的模型。该方法通过同时优化两个模型端点的插值路径来解决先前方法的局限性，并使用双重学习过程来对齐它们。该技术在WikiText数据集上对中等参数语言模型表现出接近零损失的障碍，并在ImageNet上对Vision Transformer Large模型保持了高精度，这表明解决参数对称性可以实现大规模Transformer架构的可靠线性合并。
-
新研究探索合并大型Transformer模型和提高循环模型稳定性
两篇新研究论文探索了增强大型Transformer模型能力和稳定性的新颖技术。第一篇论文介绍了一个可扩展的线性模式连接（LMC）框架，该框架允许合并数十亿参数的预训练Transformer，在WikiText上展示了接近零损耗的障碍，并保持了视觉Transformer在ImageNet上的高精度。第二篇论文研究了循环Transformer中的残差缩放，提出了一种新的缩放因子，该因子提高了可训练性，并允许在不同有效深度之间直接进行超参数…
-
SMF和SAM等新方法减少了LLM的灾难性遗忘
两篇新研究论文探讨了在微调过程中减轻语言模型灾难性遗忘的方法。其中一篇论文介绍了稀疏记忆微调（SMF），该方法增加了记忆层并仅更新访问量大的行，在医学考试任务上表现出改进的性能，同时通用能力损失最小。另一篇论文研究了锐度感知最小化（SAM）和其他预训练优化技术，证明偏向更平坦的最小值可以显著减少各种模型大小和训练后场景下的遗忘。