PulseAugur
中
实时 22:20:32
实体 SwiGLU

SwiGLU

PulseAugur coverage of SwiGLU — every cluster mentioning SwiGLU across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
10
90 天内 31
发布 · 30天
0
90 天内 0
论文 · 30天
7
90 天内 21
层级分布 · 90 天
主题
关系
情绪 · 30 天

6 天有情绪数据

最近 · 第 1/2 页 · 共 35 条
  1. TOOL · CL_369080 ·

    LLM 现在可以将算术直接编译到权重中,绕过训练

    研究人员开发了一种新颖的方法,可以将确定性计算直接嵌入到预训练语言模型的权重中,而无需梯度微调或外部工具。这种被称为零梯度编译的技术,使 Qwen 3.5 4B 和 IBM Granite 4.2 3B 等模型能够以高精度执行精确的多位数算术和布尔逻辑。该方法修改了最少数量的权重,并保留了模型的自然语言能力,同时还兼容量化模型并需要显著更少的内存。

  2. TOOL · CL_360216 ·

    新的Q-GAS方法实现秒级视频表示

    研究人员开发了Q-GAS,一种新颖的、可坐标查询的视频表示方法,旨在实现更快的视频生成。该方法结合了多分辨率显式3D特征网格、SwiGLU风格的二次门控解码器和误差感知采样器。与Instant-NGP和RNeRV等现有基线相比,Q-GAS显著提高了拟合和量化速度,在单台工作站GPU上实现了秒级表示拟合。

  3. TOOL · CL_352249 ·

    新的张量框架分析Transformer MLP设计选择

    研究人员引入了CP-MLPs,一个新颖的张量框架,用于分析Transformer前馈块内的设计选择。该框架区分了乘法单元中绑定和非绑定的参数共享,揭示了对于某些类型的交互,非绑定块提供了更高的宽度效率。对训练过的门控MLP进行的实验表明,在考虑匹配的输入投影预算时,非绑定块保持优势,尽管具体优势取决于目标结构。

  4. RESEARCH · CL_345970 ·

    Qwen3.5 模型神经元显示出意料之外的结构化排序

    研究人员在 Qwen3.5-0.8B 模型的神经元中发现了一种不寻常的排序模式,其中更活跃的神经元在每层中始终位于较低的索引处。这种现象在原始权重和神经元激活中都观察到,表明这是模型构建过程中的结构指纹,而不是标准训练过程的结果。这种排序对模型压缩和可解释性有重要影响,因为移除或随机化神经元的前半部分会严重降低性能。

  5. RESEARCH · CL_336682 ·

    开发者将GPU嵌入LLM权重以运行CUDA内核

    一位开发者创建了qwenGPU,这是一个实验性模型,它将SIMT GPU直接集成到Qwen3.5-2B的权重中。这种新颖的方法允许模型在其自身的前向传播中执行真实的CUDA内核,并使用Qwen现有的Gated DeltaNet和SwiGLU块构建了45个额外的未训练层。开发者报告称,与基础模型相比,文本漂移极小,并声称准确率很高,该模型在多个内核上与真实的NVIDIA Tesla T4相匹配。

  6. TOOL · CL_324386 ·

    对齐舍入位置可稳定大语言模型强化学习

    研究人员发现大语言模型强化学习中一个关键问题,即推理和训练系统之间的差异会破坏学习过程的稳定性。他们的研究提出通过保留选定的 FP32 中间值直至其 BF16 输出,来对齐执行堆栈的特定部分,例如 RoPE、SwiGLU 和 RMSNorm。这种有针对性的对齐方法在 Qwen 系列模型上进行了测试,成功阻止了在默认 BF16 基线中观察到的训练崩溃现象,在某些情况下,仅 RoPE 路径对齐就已足够。

  7. RESEARCH · CL_315073 ·

    新研究探索大语言模型内存缩减和神经元可解释性

    研究人员正在探索减少大语言模型内存占用的方法。一篇论文提出使用低比特精度进行N-gram嵌入,在性能损失极小的情况下实现了显著的内存节省(某些情况下高达75%),甚至通过重新投资节省的内存带来了潜在的性能提升。另一项研究推出了GLUScope,一个旨在分析基于Transformer的语言模型中神经元的工具,重点关注GLU激活函数及其四个不同的激活象限,以提供更深入的可解释性。

  8. RESEARCH · CL_312235 ·

    开发者从零开始构建LLM,以揭开Transformer的神秘面纱

    两位开发者分享了他们从零开始构建小型大型语言模型(LLM)的经验,以理解其底层组件。他们详细介绍了将文本转换为数字标记的过程、嵌入(embeddings)的作用以及Transformer架构的机制,包括注意力机制(attention mechanisms)、查询/键/值(Query/Key/Value)交互以及前馈网络(feed-forward networks)。这些博文还涉及了RMSNorm等归一化技术和RoPE等位置编码方法,强…

  9. TOOL · CL_286905 ·

    小型Transformer通过新的训练方法实现更高的算术准确性

    研究人员开发了一种方法,通过使用算法草稿板和分层课程来提高小型语言模型的算术推理能力。他们发现,正确的数据加载和语言预训练至关重要,而像RoPE和SwiGLU这样的现代架构组件可以提高性能。特定的逐位长除法草稿板显著提高了准确性,但由于加法复杂性,多位数乘法仍然具有挑战性。该研究还强调了在无缓冲训练期间未见操作数和灾难性遗忘的问题。

  10. TOOL · CL_284931 ·

    开发者用免费 GPU 从零开始构建了一个小型的 1.88 亿参数混合专家模型

    VisionQuantech 的创始人 Shivam Kumar 详细介绍了如何仅使用免费的 Nvidia T4 GPU 构建一个小型、拥有 1.88 亿参数的混合专家(MoE)语言模型的流程。他采用了一种名为 Main Researcher System v4 的方法,该方法涉及从现有研究中提取 MoE 原始概念和元模式,使用 TRIZ 原理解决矛盾,并利用组合引擎筛选潜在架构。由此产生的模型 DeepSeekMoE-tiny,在计…

  11. TOOL · CL_273656 ·

    新理论解释了损失平台期期间神经网络的学习

    研究人员开发了一个新的理论框架来理解神经网络如何学习,特别是在整体损失停滞不前的时期。该研究侧重于具有 ReLU 和 Leaky ReLU 激活的两层网络,证明即使在种群损失保持不变的情况下,网络也能学习到更具预测性的表示。研究结果提供了发生这种情况的数学条件,显示了在网络复杂度受到限制的情况下,对齐度的提高和均方误差的减少。

  12. TOOL · CL_250095 ·

    TokenPrint:开源3D调试器可视化LLM计算

    TokenPrint是一款新的开源3D可视化和调试工具,旨在使Transformer和LLM模型内部的计算更易于探索。该工具由Sudharsanselvaraj开发,允许用户逐层跟踪模型中的token,检查嵌入、注意力分数和投影等元素。它旨在提供对模型如何处理信息的更清晰理解,超越静态图表,提供计算过程的交互式空间表示。

  13. TOOL · CL_218188 ·

    TANGO模型引入了新颖的门控算子用于语言建模

    研究人员推出了一种新颖的语言建模架构TANGO,该架构通过非线性门控算子聚合令牌信息。该方法用单个跨令牌门控残差更新取代了标准的Transformer组件。其变体WANGO通过处理最近的窗口并使用旧数据的前缀统计信息,提供了线性复杂度。尽管TANGO的操作次数较高,但TANGO和WANGO在FineWeb-Edu、Lean和DeepMind Mathematics等基准测试上的表现均优于其他模型。

  14. TOOL · CL_216032 ·

    新的TriPLU架构提高了小型语言模型的性能

    研究人员开发了TriPLU,一种用于小型语言模型的新型前馈网络(FFN)架构。TriPLU用直接三线性乘积单元取代了标准门控FFN,该单元将三个学习到的特征投影相乘。在TinyStories数据集上的实验中,TriPLU与其他FFN变体相比,验证损失更低。研究表明,在特定的低计算条件下,直接乘积FFN可以提高小型模型的性能,但优化敏感性和缩放行为需要进一步研究。

  15. TOOL · CL_193835 ·

    新研究诊断出仅解码器Transformer中的秩崩溃问题

    一篇新研究论文发布在arXiv上,详细介绍了一种用于理解后归一化解码器Transformer中秩崩溃的机制性诊断方法。该研究分析了这些模型中的因果注意力如何导致高相似度表示,以及为什么训练动态未能纠正这一点。研究提出了一个使用token相似度作为状态变量的两阶段分析,解释了初始化和后续训练动态如何导致梯度消失和模型崩溃。

  16. TOOL · CL_191353 ·

    研究发现 SwiGLU 的开放正尾对语言模型并非必需

    研究人员调查了 SwiGLU 的开放正尾在仅解码器语言模型中的必要性。他们引入了 MemGLU 作为闭尾替代方案,并发现,在多次预训练运行中,MemGLU 在验证 NLL 方面表现几乎与 SwiGLU 一样好。尽管 SwiGLU 检查点对正尾抑制敏感,但机制诊断显示,尽管性能相似,两种模型在门控使用上存在差异。这些发现表明,语言模型会适应预训练期间提供的门控几何形状,这表明 SwiGLU 的开放正尾对于测试规模下的仅解码器语言模型 F…

  17. RESEARCH · CL_193344 ·

    UniMoMo框架压缩MoE推荐模型以加速推理

    研究人员开发了UniMoMo,一个训练后压缩框架,旨在加速使用混合专家(MoE)层的推荐模型。该方法根据专家的功能相似性而非参数距离对专家进行分组,并使用无标签的校准数据来评估专家对推荐状态的响应相似度。UniMoMo还引入了一个层自适应保护机制,通过限制高流量专家的合并来防止性能下降。在Amazon Beauty、KuaiRec和TenRec等数据集上的实验表明,将MoE模型压缩到更少的专家数量可以显著提高推理速度,同时保持高质量的推荐效果。

  18. TOOL · CL_189340 ·

    乐高积木类比解析现代GPT架构及效率提升

    本文使用乐高积木类比解释现代GPT架构的内部工作原理,详细说明了单个token如何从输入处理到输出。文章分解了RoPE、RMSNorm和SwiGLU等关键改进,解释了这些进步如何比GPT-2等旧模型提高效率。解释侧重于Transformer Blocks和注意力机制,这对于理解GPT模型如何通过预测下一个token来生成文本至关重要。

  19. TOOL · CL_187898 ·

    llama.cpp 发布包含服务器改进和性能优化 · 跟踪 8 个来源

    llama.cpp 项目发布了多个更新,包括 b10331 版本,该版本通过正确报告隔离工作目录来改进服务器功能。其他近期版本,如 b10330 及更早版本,则侧重于 CUDA 操作的性能优化、SYCL 的错误修复以及跨 macOS、Linux、Android 和 Windows 等各种平台的通用系统兼容性。这些更新反映了 llama.cpp 库在高效本地 LLM 部署方面的持续开发和完善。

  20. TOOL · CL_174098 ·

    新的Prox方法通过前馈网络激活稀疏性提高LLM效率

    研究人员开发了一种名为Prox的新型无训练方法,通过稀疏化其前馈网络(FFNs)来提高大型语言模型(LLMs)的效率。Prox利用SwiGLU激活的中间状态作为通道选择信号,并对其进行近似以降低计算成本。这种方法可以在模型质量没有显著下降的情况下实现FFN的稀疏执行,在各种LLM上优于现有的无训练方法,并实现了显著的加速。