Timur Mudarisov

新的几何框架分析大型语言模型注意力中的 token 选择

研究人员开发了一个新的几何框架来分析大型语言模型（LLMs）中多头注意力的行为。该方法将注意力视为 value-state 空间内的 top-N 选择过程，定义了精确率、召回率和 F 分数等指标来衡量 token 的可分离性。该理论预测了最佳操作模式，并解释了序列长度和 token 相似性如何影响这些指标。对 LLaMA-2-7B、Gemma-7B 和 Mistral-7B 模型的实证测试表明，注意力功能类似于结构化的几何分类器，从而…