Jingkun Liu

Krause Attention 改进 Transformer 模型，引入局部交互

研究人员引入了 Krause Attention，这是一种新颖的机制，旨在通过解决表示崩溃和注意力沉陷等问题来改进 Transformer 模型。这种新方法用受限于置信度共识动力学启发的局部、基于距离的交互取代了全局聚合。Krause Attention 不仅提高了视觉和语言任务等各个领域的性能，还将计算复杂度从相对于序列长度的二次方降低到线性。