extractive question answering

新技术提高了压缩 Transformer 模型性能

研究人员开发了一种新颖的事后嵌入对齐技术，以提高压缩 Transformer 模型的性能。这种称为对齐适配器（AlAd）的方法使用一个小型前馈网络将压缩模型的 token 嵌入与参考模型的 token 嵌入对齐。AlAd 可以在压缩模型生成后进行训练，并在各种 token 级任务（如词性标注、命名实体识别和抽取式问答）中显示出性能提升，尤其有利于较小的压缩模型。