Mixture of Function Attention

LLM 的注意力机制在新颖的语境和不同模型中表现出独特的行为 · 跟踪 3 个来源

研究人员正在探索大型语言模型（LLM）的内部机制，特别是注意力函数，如何影响它们在新颖语境下的行为。一项研究提出了一种“函数混合注意力”（MoFA），该模型为 softmax 和 sigmoid 头分配固定的比例，发现这种比例对分布内任务的影响很小，但对分布外性能有显著影响，并根据比例区分文本类型。另一篇论文回顾了 LLM 中注意力机制的演变，通过记忆表示、更新、访问、读出和整合等视角分析了上下文记忆的发展，强调了深度和异构架构如何协…