Alpha-1

新研究论文探讨AI注意力限制

一篇新研究论文探讨了AI模型在处理冗余或相关信息时注意力机制的局限性。研究确定了这种冗余影响注意力的两种不同方式：重复项增加了归一化质量，而相关组内的变化可能导致极端个体得分。研究提出，仅从softmax前的分数中减去聚类大小的对数是不够的，因为它未能解决这些聚类内的极端情况。该论文建议，在指数化之前对分数进行平均可能是抑制波动和提高检索准确性的一种更有效策略，尤其是在存在相关干扰项的情况下。