Lifelong Continual Learning

Lifelong AI learning needs parametric attention, says new paper

一篇新论文提出，实现人工智能代理（尤其是基于Transformer的代理）的终身持续学习，必须采用参数化形式的注意力机制。作者认为，标准注意力机制当前的二次方复杂度限制了Transformer处理任意长序列的能力，阻碍了其终身学习的能力。他们建议，通过在测试时通过参数回归学习键和值之间的关系，参数化注意力机制可以提供一种解决方案，与softmax注意力等非参数方法不同，它能保持恒定的内存占用。该论文指出了参数化注意力当前的局限性，并提…