Mass-Aware Attention

质量感知注意力机制提升了AI模型的信息保留能力

研究人员开发了一种名为质量感知注意力机制（Mass-Aware Attention, MAA）的新型注意力机制，旨在提高AI模型内部表征的信息量。标准的注意力机制在累积证据时会丢失信息，尤其是在模式重复的情况下。MAA通过将L1归一化推广到Lp族来解决这个问题，允许表征以不同的速率缩放，并保留有关输入数量的信息。该方法在各种时间图模型和数据集上显示出改进，增强了图统计和优先依附的恢复能力。