Attention Expansion

Attention expansion boosts keyphrase extraction from long documents

研究人员开发了一种“注意力扩展”机制，以改进从长文档中提取关键词。该方法使用词嵌入将预训练语言模型（PLM）的表示与周围文本的信息相结合，有效地拓宽了模型的上下文范围，而无需进行全文档注意力或昂贵的LLM推理。在各种PLM骨干和数据集上的评估显示出一致的性能提升，确立了注意力扩展作为长文档KPE的有效策略。