实体
Dirichlet kernels
Dirichlet kernels
PulseAugur coverage of Dirichlet kernels — every cluster mentioning Dirichlet kernels across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
模糊窗口注意力提高了Transformer处理长上下文的效率
研究人员推出了一种新方法——模糊窗口注意力（BLA），旨在提高Transformer语言模型处理长上下文的效率。BLA通过使用狄利克雷核从频率窗口重建模糊的KV历史，解决了标准Softmax注意力的二次复杂度和不断增长的KV缓存大小限制。该方法在滑动窗口注意力方面提供了状态效率的改进，并在需要信息检索的任务上保持了与其他线性注意力模型相当的性能。
-
新的傅里叶嵌入增强了周期性数据的表示
研究人员开发了一种使用傅里叶嵌入创建周期性分布式表示的方法，与传统的标量表示相比，该方法可以更好地处理和区分接近的角度。这种方法允许控制点积相似性并构建各种核形状。该工作在空间语义指针框架内形式化了狄利克雷核和周期性高斯核。