PulseAugur
中
实时 20:21:27
实体 SympFormer

SympFormer

PulseAugur coverage of SympFormer — every cluster mentioning SympFormer across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_317752 ·

    受哈密顿动力学启发的新的注意力机制在arXiv论文中详细介绍

    研究人员开发了SympFormer,这是一种受概率测度空间上阻尼哈密顿动力学启发的、新颖的注意力块。该方法通过将大型语言模型中的注意力机制解释为粒子系统,其均值场极限为梯度流,从而扩展了对注意力机制的理解。这项工作引入了用于Wasserstein和Stein空间的新的几何概念和微积分,为标准和惯性注意力公式提供了严格的基础。在TinyStories和OpenWebText上的实验表明,对token和动量更新的几何校正可以提高下一个to…