English(EN) Probability Distributions Computed by Autoregressive Transformers

研究人员分析 Transformer 在语言建模中的表达能力

作者 PulseAugur 编辑部 · [1 个来源] · 2026-05-26 04:00

研究人员分析了自回归 Transformer 可以表达的概率分布，超越了它们作为语言识别器的常见处理方式。研究表明，使这些模型自回归有时可以增强它们的表达能力。此外，引入概率元素可以改变非概率 Transformer 模型中存在的等价关系，从而阐明 Transformer 在其作为语言生成器的典型角色中的功能能力。 AI

影响阐明了自回归 Transformer 的理论表达能力，为未来的模型开发提供信息。

排序理由这是一篇分析特定类型 AI 模型理论能力的学术论文。

在 arXiv cs.CL 阅读 →

Autoregressive Transformers

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Andy Yang, Anej Svete, Jiaoda Li, Anthony Widjaja Lin, Jonathan Rawski, Ryan Cotterell, David Chiang · 2026-05-26 04:00

自回归 Transformer 计算的概率分布

arXiv:2510.27118v4 Announce Type: replace Abstract: Most expressivity results for transformers treat them as language recognizers -- devices that accept or reject strings -- rather than as they are used in practice: as language models that generate strings autoregressively and pr…

报道来源 [1]

自回归 Transformer 计算的概率分布

相关话题