SpanNorm

新技术旨在稳定Transformer训练并改进AI对齐

研究人员推出了一种名为SpanNorm的新型深度Transformer模型训练技术，旨在同时提高稳定性和性能。该方法整合了现有PreNorm和PostNorm架构的优点，以稳定信号传播并防止梯度问题。此外，另一项研究探索了跨Transformer层的 समरूपता (consistency) 训练，以增强模型的对齐能力和对各种安全威胁（包括角色扮演攻击和条件不对齐）的鲁棒性。