一篇新论文探讨了 Transformer 在上下文中学习分布的理论能力，特别关注贝叶斯预测任务。研究人员展示了 Transformer 如何实现梯度下降算法来近似后验预测均值和方差，以及归一化和注意力深度等架构选择如何影响它们的推断能力。高斯过程回归问题的模拟支持了这些发现，为先验数据拟合网络 (PFNs) 的表达力提供了见解。 AI
影响 为 Transformer 近似复杂分布的能力提供了理论基础，可能指导未来贝叶斯任务的模型架构。
排序理由 该集群包含一篇详细介绍 Transformer 能力理论发现的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2605.26713v1 Announce Type: new Abstract: Prior-data fitted networks (PFNs) have recently emerged as a powerful approach for Bayesian prediction tasks, approximating the posterior predictive distribution (PPD) through in-context learning. Despite their strong empirical perf…
Prior-data fitted networks (PFNs) have recently emerged as a powerful approach for Bayesian prediction tasks, approximating the posterior predictive distribution (PPD) through in-context learning. Despite their strong empirical performance and ability to go beyond point predictio…