DualBudget

新的DualBudget方法优化长上下文文本处理

研究人员引入了一种名为DualBudget的新方法来处理长上下文文本，该方法将计算成本分为两个独立的预算：注意力图的可用边和每个token激活的专家。该框架将各种注意力机制与条件专家计算相结合，旨在在不完全依赖稀疏性的情况下保留文档级信息。在摘要、问答、对话和句子对预测任务上的实验表明，在高达16K的上下文长度下，性能优于基线，并且与DiffuSeq相比，成本降低了20%。