Ken Nakanishi

多屏架构可减少30%的参数并加快长上下文处理速度

研究人员推出了一种新颖的语言模型架构Multiscreen，该架构利用一种称为筛选的机制来实现绝对的查询-键相关性。与标准的softmax注意力不同，筛选计算有界的查询-键相似度并应用阈值来丢弃不相关的键，从而实现更有效的聚合。实验表明，与Transformer基线相比，Multiscreen在验证损失方面取得了可比的性能，参数数量减少了约30%，并保持了稳定的长上下文困惑度。