研究人员发表了一项关于 measure-to-measure transformers 的理论研究，分析了它们在 sub-Gaussian 数据上的数学性质。研究表明，这些 transformers 将 sub-Gaussian 输入映射到 sub-Gaussian 输出，确保了复合 softmax 算子的明确性。此外，该研究确定了 transformers 相对于 1-Wasserstein 距离表现出 Hölder 连续性，并为经验近似中的误差传播提供了估计。该工作还研究了 cross-attention 机制的均值场类似物，详细说明了其两个输入参数的独特 Hölder 正则性和样本复杂度，最终为 measure-to-measure transformers 提供了近似保证。 AI
影响 为理解 transformer 在特定数据分布下的稳定性和误差传播提供了理论框架。
排序理由 该集群包含一篇详细介绍 transformer 理论研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- 1-Wasserstein distance
- arXiv
- cross-attention mechanism
- measure-to-measure operators
- measure-to-measure transformers
- probability measure
- softmax operator
- sub-Gaussian data
- transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
