实体
entmax
entmax
PulseAugur coverage of entmax — every cluster mentioning entmax across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究将 K-Means 与归一化 RBF 分配联系起来
一篇新的研究论文探讨了 K-Means 聚类与归一化径向基函数 (RBF) 分配之间的关系，提出 K-Means 可以被视为这些分配的零温度极限。该研究详细介绍了如何通过香农熵惩罚放松 K-Means 分配，从而得到归一化高斯 RBF 责任和收敛于 K-Means 畸变的降低的目标函数。论文还证明了交替最小化作为该目标上的预条件梯度方法，其硬极限是 Lloyd 算法，并引入了 Entmax-1.5 作为在特定条件下恢复硬分配和 Llo…
-
源自广义统计熵的新注意力算子
研究人员引入了源自广义统计熵的新型注意力算子，超越了标准的Softmax和entmax函数。Kaniadakis熵算子在权重敏感性方面提供代数衰减，与Softmax的指数衰减和entmax的截断形成对比。此外，经典的Abe熵算子提供了一个倒数对称机制，当一个参数接近某个值时，特定项与Softmax对齐。这些发展基于概率单纯形上的Fisher度量原理，其中Shannon扇区恢复了缩放点积Softmax。