BudgetFormer

BudgetFormer 通过自适应注意力头分配降低 Transformer 成本

研究人员开发了 BudgetFormer，一种 Transformer 架构，通过动态分配计算资源来优化多头注意力的使用。这种新机制学会为每个输入选择信息量最大的注意力头，减少不必要的计算并可能提高性能。在文本分类任务上的实验表明，BudgetFormer 在匹配或超过标准全多头注意力的有效性的同时，可以减少 FLOPs 和内存使用。