Carla Mariela Quispe Flores

新研究使用非交换词表示文本，降低模型复杂度

一篇新研究论文提出了一种新颖的方法，将词汇标记表示为酉矩阵，并将句子编码为其有序乘积。这种非交换方法在没有位置编码的情况下捕获词序，并实现了反向自注意力（antisymmetric self-attention）和文本块并行组合等功能，同时降低了注意力成本。该方法在IMDb和AG News等文本分类基准测试中取得了具有竞争力或更优的性能，同时将词汇空间从大约30,000个维度显著减少到64个参数的密集编码。