Fiber Bundle Transformer

新研究提出Transformer新注意力机制

两篇新研究论文探讨了增强Transformer模型的新方法。第一篇论文介绍了AttCal，一个自监督框架，它使用任务空间敏感性反馈来校准注意力机制，从而在不需要token级标注的情况下提高准确性和可解释性。第二篇论文提出了黎曼注意力机制，用学习到的黎曼度量替换标准的欧几里得内积，以理论上解决深度Transformer中的表示秩衰减问题，并引入了纤维丛Transformer架构。