PulseAugur
中
实时 08:31:55
实体 transformer blocks

transformer blocks

PulseAugur coverage of transformer blocks — every cluster mentioning transformer blocks across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 7
发布 · 30天
0
90 天内 0
论文 · 30天
4
90 天内 7
层级分布 · 90 天
主题
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/1 页 · 共 7 条
  1. RESEARCH · CL_357685 ·

    量子神经网络用于大语言模型和图数据

    研究人员正在探索将量子神经网络(QNN)集成到经典机器学习模型中,特别是大语言模型(LLM)。一种方法是量子图神经网络(QGNN),它通过将参数化量子电路应用于图结构数据来增强经典图神经网络,从而可能提高可扩展性和表达能力。另一项进展是多头量子神经网络,它可以替换LLM中的Transformer块,在准确性损失最小的情况下减少参数数量。实验表明,这些量子模块可以集成到Qwen3-30B-A3B-Instruct-2507等大规模模型中…

  2. RESEARCH · CL_350779 ·

    新方法可实现大型语言模型技能习得,权重改动极小

    研究人员开发了一种名为“删除调优”(Deletion Tuning)的新方法,通过修改不到0.1%的权重,可以显著改变大型语言模型的能力。该技术通过将特定权重归零,在各种训练后模式下均能达到与完全微调相当的性能,同时保留更多模型的原始知识。另一种方法使用决策模型将工具调用等新技能提炼到Qwen 3.5 0.8B等小型大型语言模型中,实现了与LoRA相当的性能,延迟极低,且没有灾难性遗忘。

  3. RESEARCH · CL_338606 ·

    Library of Layers 在运行时动态排序 transformer 块

    研究人员推出了一种新颖的架构“Library of Layers” (LoL),该架构在推理过程中动态地排序 transformer 块。这种方法允许模型根据特定任务调整其计算,从而实现高效的参数重用和稀疏性。LoL 将在密集、深度递归和专家混合架构中看到的权衡推广到一个统一的框架。实验表明,LoL 在包括自然语言处理和合成数据集在内的各种任务中取得了有竞争力的性能,并通过为不同类型的问题和语言调整层排序来展示可控的推理能力。

  4. TOOL · CL_303658 ·

    SpaceCache 通过重用特征提高点云分割效率

    研究人员开发了 SpaceCache,一种用于提高点云流语义分割效率的新颖方法,点云流对于自动驾驶和机器人技术至关重要。这种无需训练的特征缓存会重用先前帧的中间特征,允许观察区域的 token 跳过 transformer 块。SpaceCache 在 nuScenes、Waymo 和 ScanNet 等基准测试中已证明可将速度提高高达 1.65 倍,同时精度损失极小。

  5. TOOL · CL_189340 ·

    乐高积木类比解析现代GPT架构及效率提升

    本文使用乐高积木类比解释现代GPT架构的内部工作原理,详细说明了单个token如何从输入处理到输出。文章分解了RoPE、RMSNorm和SwiGLU等关键改进,解释了这些进步如何比GPT-2等旧模型提高效率。解释侧重于Transformer Blocks和注意力机制,这对于理解GPT模型如何通过预测下一个token来生成文本至关重要。

  6. TOOL · CL_129296 ·

    新理论将Transformer上下文映射到MLP权重块

    研究人员已经证明,Transformer模型中上下文的影响可以精确地映射到其MLP权重矩阵和RMSNorm尺度上的秩-1块。这个理论框架适用于包括Gemma在内的现代LLM架构,它提供了一种通用的方法来理解提示如何转化为有效权重。这项工作基于输入和输出可控性引入了一个通用框架,证明了具有这些属性的MLP块可以实现隐式权重打补丁。

  7. RESEARCH · CL_48934 ·

    Complete-muE 框架优化混合专家(MoE)模型的超参数迁移

    研究人员推出 Complete-muE,一个旨在优化混合专家(MoE)模型超参数迁移的新颖框架。该系统通过实现密集前馈网络与各种 MoE 配置之间的有效超参数迁移,解决了现有工具的局限性。Complete-muE 利用双桥接系统来管理架构和 token 数量的变化,从而可以将在一个单一密集模型上调整的超参数近乎最优地应用于所有 MoE 设置。