Sharma-Mittal entropies

源自广义统计熵的新注意力算子

研究人员引入了源自广义统计熵的新型注意力算子，超越了标准的Softmax和entmax函数。Kaniadakis熵算子在权重敏感性方面提供代数衰减，与Softmax的指数衰减和entmax的截断形成对比。此外，经典的Abe熵算子提供了一个倒数对称机制，当一个参数接近某个值时，特定项与Softmax对齐。这些发展基于概率单纯形上的Fisher度量原理，其中Shannon扇区恢复了缩放点积Softmax。