PulseAugur
中
实时 07:49:53
实体 Attention modules

Attention modules

PulseAugur coverage of Attention modules — every cluster mentioning Attention modules across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_280585 ·

    新研究揭示情感基础模型中涌现的功能特化

    研究人员调查了情感能力如何在多模态基础模型中涌现,特别是考察了微调是导致扩散性变化还是专业化计算路径。他们对各种设计和任务中的13个情感模型实例的分析显示,一种一致的功能组织方式是,调整前馈网络(FFN)比调整注意力模块更有效。这项研究确定FFN是适应的关键基底,并强调了“gate_proj”是一个在联合优化过程中发展出专门角色的突出路径,这种现象被称为涌现的功能特化。基于这些发现,开发了一种名为门控高效微调(GET)的新方法,该方法…

  2. TOOL · CL_198109 ·

    研究发现:长上下文训练可能损害大型语言模型的知识

    一篇新研究论文提出了“信息丰富悖论”,挑战了大型语言模型中更长上下文窗口总是能提高性能的假设。研究表明,训练过程中过多的相关信息会降低模型进行参数化编码知识的动力,导致过度依赖上下文。这种现象在语言建模、自然语言理解和闭卷问答任务中,超过某个中间最优值后,会降低性能。研究表明,使用信息丰富的上下文进行训练会将梯度压力从与参数化知识相关的馈送网络转移到注意力模块,从而在推理过程中增加上下文依赖性。