两篇新研究论文探讨了 Transformer 模型及其推理能力的理论方面。其中一篇论文分析了标准 Transformer 解码器在 Softmax 注意力下的表达能力，证明了它们如何能够以对数缩放模拟图灵机。第二篇论文为 LLM 后训练中的课程学习提供了一个理论框架，表明与非课程方法相比，它可以将推理任务的样本复杂度提高一个数量级。 AI
影响 这些理论进步可能带来更高效、更强大的 AI 模型，以应对复杂的推理任务。
排序理由 arXiv 上发表的两篇学术论文，讨论了 AI 模型和训练技术的理论方面。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Existing expressivity results for transformers typically rely on hardmax attention, high precision, and other architectural modifications that disconnect them from the models used in practice. We bridge this gap by analyzing standard transformer decoders with softmax attention an…
arXiv:2511.07372v3 Announce Type: replace Abstract: Recent curriculum techniques in the post-training stage of LLMs have been empirically observed to outperform non-curriculum approaches in improving reasoning performance, yet a principled understanding of their effectiveness and…