belief propagation
PulseAugur coverage of belief propagation — every cluster mentioning belief propagation across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新方法训练解码器集成模型以提高LDPC码的可靠性
研究人员开发了一种新颖的方法，用于训练加权信念传播（BP）解码器集成模型，以提高低密度奇偶校验（LDPC）码的解码可靠性。该方法不依赖于特定码结构的差异性，而是通过联合优化可训练的Tanner图边权重来学习互补的解码行为。研究比较了四种集成目标，发现最佳成员训练是最有效的策略。对于（64,32）PEG LDPC码，在10^-4的帧错误率下，该方法比单个信念传播解码器实现了约0.66 dB的增益，证明了学习到的专业化和互补的失败事件，而…
-
新研究表征了稀疏随机块模型中的信息-计算差距
研究人员表征了稀疏随机块模型中的信息-计算差距，重点关注具有多个社区的社区恢复。他们发现，在Kesten-Stigum阈值（$d\[lambda\]^2=1$）下，minimax风险等于Bayes风险，并且对于五个或更多社区，在此阈值以下存在一个窗口，低度规则表现不佳，而指数时间规则则成功。该研究还分析了来自循环计数的Fisher信息，显示仅在阈值以下收敛，并检查了信念传播在其无信息固定点处的行为，确定了与个性化PageRank相关的…
-
新理论解释语言模型表征中的跨语言相似性
研究人员开发了一个理论框架，以解释多语言语言模型内部层中翻译句子的相似表征现象。该框架基于语言共享抽象的层级结构而表面细节特定于语言的观点。通过生成具有共享上层但不同下层结构的合成语言，研究发现，当编码在连续层中时，信念传播能够准确预测在相似数据上训练的Transformer的行为。该理论解释了跨语言相似性在中层达到峰值、它与特定语言结构共存以及语言接近度和模型质量等因素对其的增强作用。
-
量子比特中心Transformer推进量子纠错
研究人员开发了一种新颖的量子比特中心Transformer（QCT）解码器，用于量子纠错，该解码器利用深度学习和具有专业量子比特中心注意力机制的Transformer架构。这种方法将稳定子综合症转化为量子比特中心令牌，从而能够识别潜在的逻辑错误。QCT解码器采用基于图的掩码方法，该方法考虑了量子码的拓扑结构，并将注意力集中在相关的量子比特交互上。它在表面码方面表现出最先进的性能，显著优于现有的神经解码器和信念传播基线，并在去极化噪声下…
-
新的机器学习解码器提高了量子纠错精度
研究人员开发了一种新的机器学习解码器，称为量子贝叶斯图注意力解码器（QuBA），旨在提高量子纠错的精度。该解码器旨在提供可靠的不确定性量化，并更好地泛化到未见的量子纠错码。一个相关的框架，顺序聚合不确定性泛化（SAGU），进一步增强了鲁棒性，并实现了与QuBA的领域特定训练相当或更优的性能。
-
新的图Transformer改进了图模型的推理
研究人员开发了上下文图推理（ICG-I），一种新颖的自回归图Transformer，旨在改进离散图模型的边际推理。该新方法使用学习到的、张量-链压缩的中间因子来模拟变量消除过程。ICG-I旨在克服精确算法的可扩展性限制以及信念传播等近似方法的收敛问题，并在各种基准测试中取得了最先进的性能。
-
新方法支持具有可变阶马尔可夫模型的约束序列生成
研究人员开发了一种使用可变阶马尔可夫模型并包含规则约束的序列生成新方法。该方法扩展了现有的信念传播技术，以处理生成序列中的固定位置或禁止模式等复杂要求。该方法识别信念传播的特定状态空间，确保准确生成，而无需考虑所有可能的序列组合。
-
图归一化为NP难的最大权重独立集问题提供可微分近似
研究人员开发了图归一化（Graph Normalization, GN），一个新颖的动力学系统，用于近似NP难的最大权重独立集（Maximum Weight Independent Set, MWIS）问题。GN提供了一种原则性且可微分的方法，收敛于最大独立集的二值指示符，并在大规模基准测试中优于现有求解器。该方法在需要约束下进行硬决策的深度学习架构中具有潜在应用，例如结构化注意力（structured attention）和专家混合…