研究人员开发了一种方法，通过使用最大更新参数化（muP）将超参数从较小模型迁移到较大模型来扩展概率Transformer（PT）。该技术解决了PT对超参数选择的敏感性问题，使其能够高效地扩展到拥有多达0.4亿参数的模型。实验表明，在参数数量相同的情况下，这些扩展后的PT在掩码语言建模任务上的表现优于标准Transformer。 AI
影响 能够在大规模下更有效地部署概率模型，可能提高语言建模任务的性能。
排序理由 学术论文，详细介绍了一种扩展概率模型的新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2604.25409v1 Announce Type: new Abstract: Probabilistic Transformer (PT), a white-box probabilistic model for contextual word representation, has demonstrated substantial similarity to standard Transformers in both computational structure and downstream task performance on …
Probabilistic Transformer (PT), a white-box probabilistic model for contextual word representation, has demonstrated substantial similarity to standard Transformers in both computational structure and downstream task performance on small models and small to medium sized datasets.…