Attention Expansion

Attention expansion boosts keyphrase extraction from long documents

研究人员开发了一种“注意力扩展”机制，以改进从长文档中提取关键词。该方法通过引入周围文本块的信息来增强预训练语言模型的表示，有效地拓宽了模型的上下文范围，而无需进行全文档注意力或昂贵的大型语言模型推理。在各种模型和数据集上的实验显示出一致的性能提升，确立了注意力扩展作为长文档关键词提取的有效策略。