probability simplex
PulseAugur coverage of probability simplex — every cluster mentioning probability simplex across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新研究使用费舍尔-罗（Fisher-Rao）度量来防止大型语言模型（LLM）模型坍塌
一篇新论文提出使用费舍尔-罗（Fisher-Rao）度量来分析使用合成数据训练大型语言模型（LLM）的动力学。该研究解决了“模型坍塌”问题，即当LLM递归地在合成数据上进行训练时，会遗忘真实的数据分布。作者们为防止这种坍塌所需的最少人类数据比例建立了理论保证，并证明该比例与使用欧几里得度量（Euclidean metric）得出的先前估计值不同。
-
用于量子分布学习的新分层傅里叶近似方法
研究人员开发了一种新颖的分层方法，使用布尔立方体上的Walsh-傅里叶近似来学习量子分布。该方法涉及在每个级别定义谱截断，然后将其投影到概率单纯形上并用于训练量子电路Born机。在一个级别上学习到的参数用于初始化下一个级别，从而提供端到端的学习保证。该框架分析了近似和估计的权衡，将分布误差与量子态保真度联系起来，尽管它并未消除量子神经网络训练中的贫瘠高原。
-
新的贝叶斯估计器简化了大字母表的概率估计
研究人员提出了一种新颖的贝叶斯估计器，用于在对数损失下对大字母表的概率进行估计，这个问题之前由Good-Turing估计器等方法解决。这种新估计器的特点是其简单的构造，涉及从概率单纯形独立均匀抽样的坐标乘法。其遗憾（量化了与理想代码相比的额外代码长度）可以明确计算。该估计器在各种基准测试中表现出与专用方法相比具有竞争力，并揭示了与数据、字母表大小和深度相关的标度律。
-
Aitchison几何驱动新的成分图嵌入和风味标记器校准
两篇新的arXiv论文引入了使用Aitchison几何的表示学习新方法。一篇论文提出了一种通过将高能物理中的风味标记器校准构建为概率单纯形上的最优传输问题来校准风味标记器的框架。另一篇论文提出了一个成分图嵌入框架，该框架利用Aitchison几何为节点分类和链接预测等图机器学习任务创建可解释的嵌入。