PAC-bayesian learning
PulseAugur coverage of PAC-bayesian learning — every cluster mentioning PAC-bayesian learning across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
MasFACT框架解决了多智能体LLM系统中的拓扑遗忘问题
研究人员推出MasFACT，一个旨在解决由大型语言模型驱动的持续多智能体系统（MAS）中“拓扑遗忘”问题的新型框架。当适应新任务导致系统丢失从先前任务中学到的有效通信结构时，就会出现此问题。MasFACT采用几何感知后验迁移方法，利用融合的Gromov-Wasserstein最优传输来保留历史协作知识作为可迁移的拓扑先验。然后，系统使用PAC-Bayes引导的适应来平衡学习新任务与维护稳定的通信结构。实验结果表明，与现有方法相比，Ma…
-
新的PAC-贝叶斯框架解释了对抗训练过拟合
研究人员开发了一个新的PAC-贝叶斯分析框架，以理解对抗训练中鲁棒过拟合的现象。通过将具有动量SGD的对抗训练建模为一个离散时间动力学系统，该框架提供了时域解析的鲁棒泛化界限。这种方法将模型的鲁棒泛化性能与学习率、局部损失几何和迷你批次随机梯度等因素联系起来，深入了解了鲁棒过拟合的潜在机制，并提出了改进泛化的方法。
-
纠缠而非参数决定量子策略泛化能力
一项新的研究论文提出，在量子强化学习策略中，决定泛化能力的关键因素是纠缠，而不是参数的数量。该研究引入了一个PAC-贝叶斯框架，其中受纠缠影响的Fisher几何的有效维度决定了训练-测试差距。实验表明，即使纠缠电路的参数数量与非纠缠电路相同，其泛化能力也往往较差，这一发现已在IBM Heron量子处理器上得到验证。
-
新的PAC-Bayesian方法为二次系统提供控制认证
研究人员开发了一种使用PAC-Bayesian界限来认证二次闭环控制系统的新方法。该方法通过采用系统级综合参数化来解决无界和非Lipschitz损失函数带来的挑战。该方法为控制响应上的后验分布提供了PAC-Bayes-Chernoff证书，并包含一个数据驱动的界限，该界限可以最小化以创建用于控制选择的学习算法。
-
研究人员表征了新的多分布 Rényi 散度 · 跟踪了 2 个来源
研究人员表征了一个新的多分布 Rényi 散度广义族，这对于同时比较多个概率分布至关重要。这个新族被称为多路巧合散度，它源自五个独立的数学途径，表明它是规范的多分布 Rényi 演算。这项工作扩展了现有的双分布比较，并在多群体公平性和多假设检验等领域具有潜在应用。
-
新的代数恒等式统一了信息论结果
一篇新论文介绍了一个统一的代数恒等式，该恒等式连接了各种信息论变分结果。该恒等式将熵和散度的经典公式推广到多个先验，并适用于未归一化的先验。研究展示了其在语言模型和人类基因组序列上的应用，恢复了对比解码并分离了相关序列族。
-
论文：通过提示词，LLM作为通用问题解决者的能力存在根本性限制
一篇新论文认为，由于基于提示词的通信存在根本性限制，大型语言模型（LLM）并非真正的通用问题解决者。研究表明，语言本身是传达任务信息的有限渠道，而对齐约束会进一步扭曲任务的解释。这些限制造成了不可避免的误差下限，意味着即使拥有无限的数据或更大的模型规模，某些任务仍可能无法仅通过提示词来解决。
-
新论文质疑LLM因语言限制而产生的通用学习能力极限
一篇新的arXiv论文认为，由于自然语言作为接口所施加的基本限制，大型语言模型（LLM）并非真正的通用学习者。该研究引入了“表达力下限”和“目标不对齐下限”的概念，表明语言有限的容量和对齐限制造成了不可约的误差下限。这些限制意味着，即使拥有无限的数据，基于提示词的LLM也可能无法正确解决某些任务家族，这表明需要超越自然语言的接口。
-
用于平滑损失函数的新型PAC-Bayes去随机化方法
研究人员开发了一种新的方法，用于去随机化PAC-Bayes泛化界，特别适用于平滑损失函数。该方法旨在通过利用损失函数和预测器类别的平滑特性，为确定性预测器创建高概率界。研究详细介绍了从Gibbs预测器过渡到后验均值确定性预测器的成本，将其与Jensen差距类的泛化差距联系起来，并提出了一个受理论框架启发的实用正则化器。
-
新方法预测漂移和腐蚀下的数据分布
研究人员开发了一种新颖的在线学习方法，用于预测非平稳数据流中的完整数据生成分布，即使在受到漂移和对抗性腐蚀的情况下也能实现。该方法利用潜在聚类几何来表示候选概率定律，通过后验平均实现在线预测。这种方法避免了对数据流、漂移或腐蚀进行参数建模的需要，并在特定条件下为次线性累积Wasserstein遗憾提供了理论保证。
-
新研究探讨深度学习的不确定性和泛化问题
研究人员正在开发新方法来提高深度学习模型的可靠性和可理解性。一篇论文介绍了校准方差传播（CVP），以仅需传统方法计算成本的一小部分即可为Transformer和CNN提供准确的不确定性估计。另一项研究通过考虑输入空间子区域内的局部鲁棒性和稳定性，提出了更紧的泛化界限，并在ImageNet上显示了改进的估计。第三项贡献探讨了贝叶斯原理以理解深度学习中的泛化，为不确定性估计提供了新框架，并建立了多样性、平滑性和随机性之间的理论联系。
-
新理论解释并改进了人工智能模型的测试时训练
研究人员开发了一个决策理论框架，用于理解和改进测试时训练（TTT），这是一种将预训练模型适应特定提示的方法。新方法将TTT视为隐式贝叶斯推理，揭示了其有效性取决于更新是否与提示的信噪比相匹配以及是否与查询相关方向一致。这种理论视角解释了TTT的不稳定性，并为选择更新步骤和模型组件（如Transformer块和头）提供了原则性指导，以提高准确性并防止过拟合。
-
新的 PAC-Bayesian 框架增强了 GNN 的对抗鲁棒性分析
研究人员开发了一个新的 PAC-Bayesian 框架来分析消息传递图神经网络 (MPGNN) 的对抗鲁棒性。该框架通过量化参数敏感性并使用各向异性高斯后验来提供更紧密的泛化界限。该分析改进了谱范数依赖性并降低了复杂性因素，旨在指导 MPGNN 的设计以提高对抗鲁棒性。
-
新的PAC-Bayes理论解释了机器学习中对称性带来的收益
研究人员为利用对称性的机器学习模型开发了新的理论保证，其适用范围超出了紧致群和不变数据分布的范畴。该研究在PAC-Bayes框架内调整并收紧了现有界限，证明了其在各种PAC-Bayes界限上的适用性。在具有非均匀和非紧致变换的数据集上进行的实验验证了该理论，显示出改进的结果，并为对称模型偏好对称数据提供了证据。
-
新论文探讨 GNN 的通用用途和可靠决策
两篇新研究论文探讨了图神经网络 (GNN) 的进展。第一篇论文为机器学习工程师提供了 GNN 的入门概述，详细介绍了其框架、应用以及过平滑等挑战。第二篇论文介绍了 AbstainGNN，这是一个新颖的框架，旨在使 GNN 在不确定性高时能够弃权预测，从而提高在安全关键应用中的可靠性。
-
新的嵌套因果老虎机框架提供认证策略优化
研究人员引入了一个名为嵌套上下文因果老虎机（NCCBs）的新框架，以解决战略选择影响后续战术选择的序贯决策问题。他们提出嵌套因果汤普森采样（NCTS）作为在此框架内进行递归操作的方法。一项关键的理论贡献是因果PAC-贝叶斯超额风险界限，它允许仅使用历史数据对部署策略进行离策略、随时认证，从而表明代理的可靠性和相关风险。
-
PAC-Bayes框架为学习系统控制器提供新方法
研究人员开发了一个新的PAC-Bayes框架，旨在学习未知随机线性离散时间系统的控制器。该框架为任何学习到的控制器提供了数据依赖的、高概率的性能界限。所提出的算法提供了理论保证，并适用于有限和无限控制器空间，数值结果表明在特定场景下性能可与LQG相媲美。
-
新的 PAC-贝叶斯框架量化测试时自适应中的不确定性
研究人员开发了一个 PAC-贝叶斯框架，用于量化测试时自适应 (TTA) 方法中的认知不确定性。该框架使用源分布和目标分布之间的最大均值差异 (MMD) 来推导泛化界。通过将 MMD-balls 解释为 credal sets，该方法将认知不确定性与偶然不确定性分开，提供了一种有原则的方法来决定何时自适应是有益的。
-
用于控制未知线性系统的新PAC-Bayes框架
本文介绍了一个PAC-Bayes框架，该框架旨在为未知的随机线性离散时间系统学习控制器。该研究提供了控制器性能的数据相关界限，并提出了具有理论保证的新学习算法。这些算法适用于有限和无限控制器空间，并在特定场景下提供与LQG控制器相当的性能。
-
PAC-贝叶斯分析界定边缘学习中无线推理的退化
研究人员开发了一个理论框架，用于分析在无线信道上运行的神经网络在边缘推理中的性能退化。他们的方法使用PAC-贝叶斯分析来推导出无线泛化误差的高概率界限，该界限量化了在不同信道条件下训练和实际推理之间的性能差距。他们还提出了一种信道感知训练算法，旨在最小化此误差，并在模拟中显示出改进的性能和鲁棒性。