实体
Andrew Gracyk
Andrew Gracyk
PulseAugur coverage of Andrew Gracyk — every cluster mentioning Andrew Gracyk across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新论文将变分法与Transformer注意力机制联系起来
本文提出了一个理论框架，通过将变分法和拉格朗日优化联系起来，来理解Transformer模型中的注意力机制。作者在单位超球面流形及其切丛上探讨了这些概念，并提出了一些由于基于投影的技术和epsilon型扰动而被归类为近似的方法。该研究旨在将注意力机制分析为高维球体上token的流映射，并拓宽变分法在近似上下文中的数学视角。
-
新的VAE方法通过几何流增强动力学学习
研究人员开发了一种名为VAE-DLM的新型变分自编码器（VAE）方法，该方法结合了黎曼几何和潜在高维稳定几何流。该方法旨在改进数据中潜在动力学的学习，特别是对于偏微分方程（PDE）。VAE-DLM框架允许在潜在空间中诱导特定的流形几何形状，从而产生更具表现力的表示和重新制定的证据下界（ELBO）损失。实证结果表明，VAE-DLM在选定数据集上的性能与传统VAE相当或更好，通常可将分布外误差降低15%至35%。