WikiText-103
PulseAugur coverage of WikiText-103 — every cluster mentioning WikiText-103 across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新研究表明，尽管函数相同，Transformer的训练轨迹却会发散
一篇新研究论文探讨了由于优化器行为，相同的Transformer模型可能表现出不同训练轨迹的现象。研究表明，即使模型函数保持不变，标准的AdamW等优化器也未能充分考虑由参数变换引起的尺度不平衡。为解决此问题，研究人员提出了平衡矩阵对并共同变换其矩估计的方法，确保等效的检查点能带来一致的训练路径。他们还引入了对称感知梯度几何稳定（SAGGS）及其变体Soft SAGGS，它们使对称对的Frobenius范数相等以缓解尺度不平衡，并在W…
-
新方法预测语言模型在不同文本语料库中的分歧
研究人员开发了一种方法，可以预测语言模型在不同文本语料库上训练时预测会发生多大变化。他们的公式考虑了文档长度和跨标记偏移的相关性等各种因素，并可以使用单独的参考语料库进行评估。在 TinyStories 和 WikiText-103 等数据集上的实验表明，分歧下降的速度比简单缩放定律预测的要慢得多，他们将其归因于罕见上下文的平滑处理。其预测的准确性比特定的相关性建模方法更依赖于参考语料库的大小。
-
新的HySPE位置编码方法在RoPE外推方面表现更优
研究人员推出了一种新颖的位置注意力方法——双曲辛位置编码（HySPE），用于将位置注意力置于非紧辛变换中。与使用旋转的旋转位置嵌入（RoPE）不同，HySPE在其双曲分支中采用阻尼对称的双对偶剪切组合。这种方法为每个通道对提供两个频谱衰减率，并确保长度无关的数值界限，同时匹配RoPE的前向延迟。在TinyShakespeare上的实验表明，HySPE具有更优的外推能力，其不变困惑度保持得比RoPE好得多。在WikiText-103上训…
-
脉冲神经网络推动节能语言建模 · 跟踪3个来源
研究人员正在探索开发用于语言建模的脉冲神经网络（SNN），旨在比传统Transformer模型实现更高的能效。一种名为NeuronSpark的方法引入了自适应神经元动力学和门控记忆，能够从头开始进行大规模预训练，在硬件上展现出具有竞争力的性能和显著的节能效果。另一项研究调查了SNN的计算最优缩放定律，发现参数与数据之间的权衡与Transformer相似，但量化了脉冲带来的准确性成本。第三篇论文提出了一种由LLM引导的进化方法来发现原生…
-
LLM引导进化搜索原生脉冲神经网络架构
研究人员开发了OpenArchEvo，一个利用大型语言模型（LLM）进化脉冲神经网络（SNN）原生神经架构的新颖系统。与改编现有的人工神经网络（ANN）设计的传统方法不同，OpenArchEvo探索开放程序空间，从而能够发现专门针对脉冲计算优化的架构。该方法旨在提高SNN在序列建模任务中的能效和性能。该系统使用三视图表示（代码、原理、行为指纹）来估计新颖性和预测性能，从而降低了发现新架构的计算成本。
-
Transformer注意力几何：查询扩展，键收缩
研究人员调查了Transformer架构在训练过程中查询和键的几何演变。通过在字符级WikiText-103上训练小型GPT类Transformer，他们观察到查询维度倾向于扩展，而键维度倾向于收缩。键的收缩导致QK^T的频谱变窄，注意力权重更加集中。进一步的实验证实了因果关系，即限制键的频谱会使注意力更集中，而保持其初始分散性则会使其变缓。
-
新研究分析语言模型中的Z-loss反向几何
一篇新论文从反向传播的角度分析了用于稳定语言模型训练的Z-loss技术。该研究引入了一种“反向传输”视图，将Z-loss的来源与其影响梯度的架构和优化器因素分离开来。这种分析揭示了Z-loss如何在不显著影响验证困惑度的情况下减少参数更新，尤其是在低系数情况下。
-
FLoKD框架支持通信成本降低的联邦大语言模型训练
研究人员开发了FLoKD，一个用于无线网络上大语言模型（LLMs）联邦学习的新框架。该方法通过传输低秩适配器（LoRA）的中间激活值而非完整参数或token级logits，利用自适应知识蒸馏，显著降低了通信开销。FLoKD通过选择性地传输信息量大的Transformer块并采用数据集选择策略来丢弃不相关样本，进一步优化了这一点。实验表明，FLoKD在通信成本降低50-65%的同时，实现了具有竞争力的准确率。
-
新的PAC隐私方法增强了安全自回归生成
研究人员开发了一种新的自回归语言生成隐私保障方法，该技术以前仅限于分类任务。这种方法称为PAC-Private Autoregressive Generation，根据不同潜在秘密输出的可变性来校准噪声。通过在私有数据的重叠子集上训练多个适配器，系统可以在限制信息泄露的同时生成文本，与非私有方法相比，保留了相当一部分微调收益。
-
新型记忆层在无注意力机制下提升AI回忆准确性
研究人员为无注意力机制的循环序列模型开发了一种名为“笔记本”的新型记忆层，以解决其回忆过去信息方面的弱点。该笔记本由一个具有学习门控的全息关联存储器组成，显著提高了单次回忆的准确性，即使在远超训练数据长度的情况下也是如此。该系统展示了选择性遗忘和每令牌归因等能力，为回忆的信息提供了精确的出处。当应用于真实文本时，该笔记本提高了重复罕见词的预测能力，并在没有记忆污染的情况下保持了在扩展长度下的性能。
-
新的CurveFP数据类型有望降低语言模型的成本并提高性能
研究人员推出了一种新颖的低精度数据类型系列CurveFP，旨在降低语言模型的成本。CurveFP通过一个闭合乘积码本来优化标量保真度和乘积引起的算术，该码本将量化幅度分布在对数曲线上。这种方法将乘积形成简化为精确的符号XOR和整数索引更新，从而在训练和部署中实现更好的数值行为和效率。
-
新研究解耦专家混合模型的路由与聚合以提升性能
研究人员正在探索优化稀疏专家混合（MoE）模型的新方法，超越传统手段。一项研究引入了MOSAIC框架，该框架整合了架构和系统协同设计，通过考虑硬件约束和算法选择来提高模型效率和性能。另一篇论文研究了解耦MoE路由器中专家调度（选择）和聚合（加权）的角色，提出了一种可以独立优化的后计算头，以增强语言建模目标。
-
无注意力机制的架构在语言生成和扩展方面展现出潜力
一篇新的研究论文《Kathleen Writes: 无注意力机制的自回归生成与数据扩展》探讨了一种用于语言建模的无注意力机制架构。该研究表明，这种架构在分类任务上可以媲美强大的基线模型，并在生成方面展现出潜力。论文引入了一个名为 FORM DISTANCE 的新指标来评估文本质量，并提出解码策略对生成性能有显著影响，甚至比架构改变的影响更大。
-
TextNCA：探索用于语言建模的神经元胞自动机
研究人员开发了TextNCA，一种基于神经元胞自动机的语言模型，该模型利用分层局部注意力机制。虽然在WikiText-103基准测试中其性能并未超过同等规模的Transformer模型，但TextNCA可作为分析工具，用于理解驱动其行为的组成部分。研究发现，分阶段的窗口大小递增、GRU门的使用以及学习到的嵌入对于性能至关重要，而迭代次数带来的收益是有限的。
-
新的SCSE方法改进了用于文本任务的循环Transformer
研究人员引入了以源为中心的态演化（SCSE），这是一种旨在增强循环Transformer的新颖方法。SCSE通过确保精确的锚点不变性，解决了在不同循环深度下保持一致的隐藏状态的挑战。这种方法允许输入条件化，同时保留参考点，从而在文本补全和迁移学习等任务上提高了性能。
-
新研究探索文本和图像的高效几步生成
两篇新研究论文介绍了生成模型的新方法，重点在于提高文本和图像几步生成的效率和质量。第一篇论文《Latent-Kernel Discrete Flow Maps for Few-Step Generation》提出了一种名为 LKF 的方法，该方法原生表达了相关步骤，显著提高了文本基准上的生成困惑度。第二篇论文《Flow Map Learning via Nongradient Vector Flow》介绍了 SGFlow，一种通过模型…
-
新研究解决了掩码扩散语言模型的评估和架构问题
两篇新研究论文介绍了掩码扩散语言模型（MDLM）的新型评估协议和架构。第一篇论文“CaRE”提出了一个计算感知的框架来标准化评估，揭示了温度和步数等因素会显著影响报告的收益，常常颠覆之前的策略排名。第二篇论文“PreDiff-LM”提出了一种混合注意力机制，该机制可以使预训练的自回归Transformer适应双向生成，在困惑度和MAUVE等指标上比标准扩散模型有所改进，但在同等规模下仍落后于优化的自回归模型。
-
Naju模型引入了解耦的遗忘和写入功能，以实现长序列记忆
研究人员推出了一种名为Naju的新型原生离散状态空间模型，旨在增强长序列记忆能力。与以往在平衡信息遗忘和覆盖方面存在困难的模型不同，Naju将这两个功能解耦。这使得数据在长时间内能够近乎无损地保留，同时也能主动覆盖过时信息。Naju在记忆追踪、语言建模和联想回忆任务中表现出色，优于现有的Mamba模型，并在保持高效扩展性的同时，与Transformer架构相比也保持了竞争力。
-
SHUFFLESPARSE学习的置换可提高结构化稀疏网络的准确性
研究人员开发了SHUFFLESPARSE，一种新颖的置换原语，旨在增强神经网络中的结构化权重稀疏性。该方法旨在缩小结构化和非结构化稀疏训练之间的准确性差距，尤其是在高稀疏度水平下。通过与权重矩阵一起学习置换矩阵，SHUFFLESPARSE在ViT-B16和GPT-2等模型的准确性方面显示出显著的改进，并显著将LLaMA-2 7B的零样本准确性提高了4.6个百分点。
-
新框架通过动态聚类和压缩解决 MoE LLM 的三难困境
研究人员开发了一个新框架，以解决混合专家（MoE）大型语言模型（LLM）面临的三难困境，该困境涉及负载不平衡、参数冗余和通信开销。他们的方法使用动态专家聚类和结构化压缩，根据参数和激活相似性定期重新组合专家以稳定利用率。这种方法将每个组的参数减少多达五倍，同时保持专业化，从而带来显著的效率提升。在 GLUE 和 WikiText-103 上的评估表明，该框架在保持标准 MoE 模型质量的同时，总参数减少了约 80%，吞吐量提高了 10…