4-Tensor Attention Model

新的4张量注意力模型在场景预测方面显示出更快的训练速度

研究人员开发了一种新颖的4张量注意力模型，用于预测场景中的下一个语义状态，可应用于视频生成和机器人规划。该模型处理具有语义和时间上下文纤维的状态，并在一个窗口内进行注意力归一化。在ROCStories数据集上进行下一个句子预测任务训练时，4张量模型在各种设置下均优于一维Transformer，取得了更低的交叉熵得分。值得注意的是，4张量模型还显示出显著更快的训练速度。