PulseAugur
中
实时 22:06:07
English(EN) Beyond Softmax: A Natural Parameterization for Categorical Random Variables

新的'catnat'函数在深度学习效率上优于softmax

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员引入了一个名为'catnat'的新函数，作为深度学习中处理分类变量的标准softmax函数的替代方案。该新函数源自信息几何学，由于其Fisher信息矩阵是对角的，因此提供了改进的梯度下降效率。在图学习、VAEs和强化学习等各种任务上的实验表明，与softmax相比，'catnat'能够带来更高的学习效率和测试性能。 AI

影响 引入了一个新颖的函数，有可能提高各种应用中深度学习模型的训练效率和性能。

排序理由 该集群包含一篇详细介绍深度学习新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv stat.ML 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的'catnat'函数在深度学习效率上优于softmax

报道来源 [1]

  1. arXiv stat.ML TIER_1 English(EN) · Alessandro Manenti, Cesare Alippi ·

    超越Softmax：分类随机变量的自然参数化

    arXiv:2509.24728v2 Announce Type: replace-cross Abstract: Latent categorical variables are frequently found in deep learning architectures. They can model actions in discrete reinforcement-learning environments, represent categories in latent-variable models, or express relations…

相关实体

相关话题