Padding mask

Transformer注意力掩码：因果掩码与填充掩码的必要性

对Transformer模型中因果掩码和填充掩码必要性的技术深入分析表明，右填充使得填充掩码变得多余，因为因果关系已经排除了填充标记。然而，左填充（常用于仅解码器生成）需要填充掩码来防止注意力泄露到填充标记上。作者还强调了一个常见问题，即掩码行在softmax后可能导致无意义的均匀分布，并提出了解决方案，例如在填充查询位置掩码输出或将完全掩码的行置零。