PulseAugur
中
实时 11:20:48
English(EN) Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

LLM 函数-向量头分为“写者”和“取消者”

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员在大型语言模型的函数-向量（FV）头中识别出两个不同的群体，挑战了这些头是同质群体的假设。通过采用保留符号的标准而非仅基于幅度的排序，他们发现 FV 头要么将正确的 logits 推高（写者），要么将其推低（取消者）。这种双重性质在多个模型家族和规模中都得到了观察，并且零剔除取消者可以提高准确性。 AI

影响 揭示了对 LLM 如何处理信息的更细致的理解，可能影响未来的模型可解释性和设计。

排序理由 学术论文，详细介绍了关于 LLM 内部机制的新发现。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Han-yu Wang ·

    函数向量头是两种群体：上下文学习中的写者和取消者

    arXiv:2606.07560v1 Announce Type: cross Abstract: Function-vector (FV) heads (Todd et al., 2024) are typically identified by the magnitude of their causal contribution to in-context rule tasks, under the implicit assumption that the top set is a homogeneous functional class. This…

相关实体

相关话题