研究人员推出了一种名为SpanNorm的新型深度Transformer模型训练技术，旨在同时提高稳定性和性能。该方法整合了现有PreNorm和PostNorm架构的优点，以稳定信号传播并防止梯度问题。此外，另一项研究探索了跨Transformer层的 समरूपता (consistency) 训练，以增强模型的对齐能力和对各种安全威胁（包括角色扮演攻击和条件不对齐）的鲁棒性。 AI
影响 这些在训练稳定性和对齐技术方面的进展可能带来更强大、更可靠的大型语言模型。
排序理由 arXiv上发表了两篇研究论文，详细介绍了改进Transformer模型训练和对齐的新技术。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2601.22580v2 Announce Type: replace Abstract: The success of Large Language Models (LLMs) hinges on the stable training of deep Transformer architectures. A critical design choice is the placement of normalization layers, leading to a fundamental trade-off: the ``PreNorm'' …
arXiv:2606.05817v1 Announce Type: new Abstract: Consistency training encourages models to behave similarly across different contexts, and has shown promise for reducing misalignment. We broaden the scope of consistency training in two ways. First, we introduce two new internal co…