Contribution Weights

新指标“贡献权重”为LLM注意力提供了更深入的洞察

研究人员引入了“贡献权重”，一种用于分析大型语言模型中自注意力Transformer的新颖指标。该新指标超越了传统的注意力权重，通过结合值向量的几何特性，提供了对token影响更准确的衡量。研究表明，贡献权重能有效识别语义关键token，并为理解“注意力汇聚点”的功能作用提供了新见解，揭示了它们在稳定表征中起到的积极作用，而非仅仅存储信息。