实体
Andrew Gracyk
Andrew Gracyk
PulseAugur coverage of Andrew Gracyk — every cluster mentioning Andrew Gracyk across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
arXiv论文详述了新的Mamba架构观测性方法
研究人员开发了确保神经状态空间模型（特别是Mamba架构）观测性的新方法。这些技术利用特征值、单位根和傅里叶变换来提高计算效率，并在高维和可学习隐藏状态场景下强制执行观测性。该研究基于控制理论引入了新的机器学习观测性条件，其结果包括Mamba系统的高效共享参数构造以及满足Robbins-Monro条件的训练算法。
-
新论文将变分法与Transformer注意力机制联系起来
本文提出了一个理论框架，通过将变分法和拉格朗日优化联系起来，来理解Transformer模型中的注意力机制。作者在单位超球面流形及其切丛上探讨了这些概念，并提出了一些由于基于投影的技术和epsilon型扰动而被归类为近似的方法。该研究旨在将注意力机制分析为高维球体上token的流映射，并拓宽变分法在近似上下文中的数学视角。
-
新的VAE方法通过几何流增强动力学学习
研究人员开发了一种名为VAE-DLM的新型变分自编码器（VAE）方法，该方法结合了黎曼几何和潜在高维稳定几何流。该方法旨在改进数据中潜在动力学的学习，特别是对于偏微分方程（PDE）。VAE-DLM框架允许在潜在空间中诱导特定的流形几何形状，从而产生更具表现力的表示和重新制定的证据下界（ELBO）损失。实证结果表明，VAE-DLM在选定数据集上的性能与传统VAE相当或更好，通常可将分布外误差降低15%至35%。