PulseAugur
中
实时 07:06:39
实体 transformer activations

transformer activations

PulseAugur coverage of transformer activations — every cluster mentioning transformer activations across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_360310 ·

    新研究将大语言模型Transformer激活与潜在持久性联系起来

    一篇新研究论文提出了一个关于大语言模型(LLM)内部工作机制的新视角,认为Transformer激活中的时间相关性可以用“潜在持久性”来解释。这一概念认为,跨层持久编码的抽象潜在变量控制着长段的输入数据。研究发现,这种持久性随着LLM深度的增加而增长,与自相关的大小相关,并暗示更深层的特征在更长的上下文跨度中持续存在。对这些持久特征进行消融的实验证实了它们在影响自相关方面的作用。

  2. RESEARCH · CL_68434 ·

    大语言模型研究深入探究上下文学习机制

    两篇新研究论文探讨了大语言模型中上下文学习的机制。其中一篇论文研究了变压器激活是否可用于优化上下文样本选择,发现MLP输出与性能不相关,并提出了稀疏自编码器等未来方向。另一篇论文提出,自注意力层和MLP层的堆叠使得变压器能够根据上下文隐式更新MLP权重,可能在无需额外训练的情况下解释上下文学习能力。