实体
induction heads
induction heads
PulseAugur coverage of induction heads — every cluster mentioning induction heads across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的 INTRYGUE 方法改进了 RAG 不确定性估计
研究人员开发了一种名为 INTRYGUE 的新方法，以改进检索增强生成（RAG）系统中的不确定性估计。标准的基于熵的方法在 RAG 中常常失效，因为存在一种悖论：有助于使响应更可靠的诱导头（induction heads）也会膨胀预测熵，从而发出错误的信号表明不确定性。INTRYGUE 通过根据诱导头激活模式对预测熵进行门控来解决这个问题。在六个开源 LLM 和四个 RAG 基准测试上进行测试，INTRYGUE 的表现持续与现有不确定…
-
AI 研究通过电路假说解码 Transformer 内部结构
机制可解释性研究正在揭示 Transformer 如何处理信息，重点关注归纳头（induction heads）和叠加（superposition）等概念。这些发现支持“电路假说”（circuit hypothesis），表明 Transformer 内部特定的神经通路负责特定的计算。这项工作旨在揭开这些复杂 AI 模型内部运作的神秘面纱。
-
研究人员提出使用张量变换器对玩具语言进行机械解释
研究人员正在提议一个项目，使用已知的计算基元（如归纳头和跳跃三元组）来构建一个玩具语言。这种受控环境将允许研究 Transformer 模型的基本问题，例如抑制、错误校正和组合性。通过在此语言上训练张量变换器，该团队旨在开发更好的机械解释工具，并获得适用于现实世界大型语言模型的见解。