PulseAugur
中
实时 09:36:46

Transformers 在上下文学习中实现回归的最优性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种使用 Transformer 进行非参数回归的上下文学习方法。他们的研究表明，Transformer 可以实现 minimax 最优收敛速率，并且所需的参数和预训练序列比之前认为的要少得多。这是通过使 Transformer 能够通过核加权多项式基和梯度下降来近似局部多项式估计器来实现的。 AI

影响 展示了一种更有效的上下文学习方法，可能降低基于 Transformer 的回归任务的计算需求。

排序理由 该集群包含一篇学术论文，详细介绍了使用 Transformer 进行上下文学习的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Transformers 在上下文学习中实现回归的最优性

报道来源 [1]

  1. arXiv stat.ML TIER_1 English(EN) · Michelle Ching, Ioana Popescu, Nico Smith, Tianyi Ma, William G. Underwood, Richard J. Samworth ·

    基于Transformer的高效且Minimax最优的上下文非参数回归

    arXiv:2601.15014v2 Announce Type: replace Abstract: We study in-context learning for nonparametric regression with $\alpha$-H\"older smooth regression functions, for some $\alpha>0$. We prove that, with $n$ in-context examples and $d$-dimensional regression covariates, a pretrain…

相关实体

相关话题