实体
Maximum Entropy Principle
Maximum Entropy Principle
PulseAugur coverage of Maximum Entropy Principle — every cluster mentioning Maximum Entropy Principle across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Transformer架构由统计力学和信息论解释
一篇新的研究论文提出，Transformer架构（现代AI的基础元素）可以从统计力学和信息论的基本原理中推导出来。该研究表明，当以最小化信息损失并捕捉标记之间的统计关系为目标时，Transformer架构作为建模语言的最优解而出现。这一理论框架将语言建模与熵和最大熵原理等概念联系起来，从而更深入地理解了基于Transformer的模型为何如此有效。
-
贝叶斯模型探索分层结构和最大熵原理
arXiv上的两篇新论文探讨了机器学习中的贝叶斯分层模型。第一篇论文由Brendon Brewer撰写，展示了当先验给定超参数时，在依赖边际先验中如何出现最大熵属性。第二篇论文由Alexander Dombowsky撰写，介绍了一种用于离散贝叶斯网络的层级模型，该模型诱导收缩到低维潜在参数，并应用于乳腺癌数据。