LogSumExp
PulseAugur coverage of LogSumExp — every cluster mentioning LogSumExp across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
New Mahalanobis-based attention mechanism boosts AI model efficiency
Researchers have introduced Mahalanobis-Based Multi-Head Attention (MHA-CSP), a novel attention mechanism that replaces the standard dot-product with a Mahalanobis distance-based RBF kernel. This approach allows for att…
-
GaugeQuant 通过学习模型对称性来优化大语言模型量化
研究人员开发了 GaugeQuant，一种利用大语言模型（LLMs）内部对称性来优化其量化过程的新颖方法。该技术在训练损失中引入了一个 LogSumExp 项，引导模型选择量化最优基，而无需校准数据或模拟。在 W4A4 量化下对 LLaMA-2 7B 模型进行的实验显示，困惑度从 8.22 显著降低到 6.73，优于一些训练后量化方法。在 W4A16 量化下观察到进一步改进，困惑度从 11.16 下降到 5.45。
-
LogSumExp平滑在最大函数逼近中近乎最优
一篇新发表在arXiv上的论文提供了一个初等证明，证明了LogSumExp平滑在$\\mathbb{R}^d$中逼近最大函数时近乎最优。该研究为高估平滑度设定了一个下界，表明它们必须至少相差d的自然对数的约0.8145倍。虽然LogSumExp接近这个界限，但该论文也引入了严格更强的平滑方法，并针对低维度提出了完全最优的平滑方法，这些方法达到了已设定的下界。
-
新的安全 KL 散度改进 LogSumExp 优化
研究人员开发了一种 LogSumExp 函数的新颖近似方法，该函数对于熵正则化最优传输和分布鲁棒优化等优化问题至关重要。这种新的近似方法，称为安全 KL 散度，保持了凸性和光滑性，从而可以使用随机梯度方法进行高效优化。实验和理论分析表明，这种方法在基于 LogSumExp 的随机优化方面优于现有方法。