PulseAugur
中
实时 16:11:12

Transformer模型可以精确地插值有限序列数据集

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员已经证明，Transformer模型可以精确地插值有限输入序列的数据集。它们的构造使用了与输出序列长度之和成比例的块数，以及与输入序列长度无关的参数。这种方法交替使用前馈层和自注意力层，利用低秩参数矩阵，并在hardmax和softmax设置中都被证明是有效的，为学习问题提供了收敛保证。 AI

影响 提供了对Transformer模型在序列到序列任务中能力的理论理解。

排序理由 详细介绍Transformer模型理论构造的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Transformer模型可以精确地插值有限序列数据集

报道来源 [1]

  1. arXiv stat.ML TIER_1 English(EN) · Albert Alcalde, Giovanni Fantuzzi, Enrique Zuazua ·

    Exact Sequence Interpolation with Transformers

    arXiv:2502.02270v3 Announce Type: replace-cross Abstract: We prove that transformers can exactly interpolate datasets of finite input sequences in $\mathbb{R}^d$, $d\geq 2$, with corresponding output sequences of smaller or equal length. Specifically, given $N$ sequences of arbit…

相关实体

相关话题