PAC-bayesian learning
PulseAugur coverage of PAC-bayesian learning — every cluster mentioning PAC-bayesian learning across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新理论统一了机器学习中的泛化、验证和信息融合
提出了一个新的理论框架 gamma-CUBV，用于统一机器学习中的泛化、验证和信息融合。该框架通过累积量包络控制泛化差距，推广了交叉上界验证 (CUBV)，涵盖了包括 PAC-贝叶斯和异构源融合设置在内的各种风险界限。对于 K 折交叉验证，该理论引入了一个有效的折数 Keff，它考虑了折之间的依赖性，表明增加 K 并不总是能增强统计证据。该研究还将范围扩展到后验分布和加权多源融合，为异构小样本应用提供了原则性的验证标准。
-
新算法利用PAC-Bayesian理论使随机多数表决非随机化
一篇新论文介绍了一个框架，用于使随机多数表决（集成机器学习方法中的关键组成部分）非随机化。通过应用分解的PAC-Bayesian理论，该研究将现有的随机保证转化为确定性多数表决的证明。这种方法产生了两个泛化界族和一个新颖的自界定学习算法，该算法优化了确定性多数表决的保证。
-
新的非线性降维技术增强了贝叶斯优化
研究人员开发了用于贝叶斯优化的新型非线性降维技术，这是一种用于昂贵的黑盒函数的高效全局优化的方法。所提出的方法 SDR-LSBO 利用变分自编码器 (VAE) 创建结构化潜在流形，并将顺序域缩减直接集成到该潜在空间中。该方法在 BoTorch 中使用高斯过程代理实现，在基准测试中展示了改进的优化质量，特别是在非线性低维结构方面，并提供了一种分析潜在空间学习与表示差距之间权衡的方法。
-
新的PAC-贝叶斯框架量化机器学习中特权信息的价值
研究人员开发了一个新的PAC-贝叶斯框架，用于量化机器学习中特权信息（PI）的价值。该方法提供了一种算法无关的方法来估计来自辅助训练特征的潜在知识转移，并为可提取的收益设定了上限。该指标可以使用经验训练风险来计算，无需测试数据，并在监督和无监督设置中都得到了验证，显示出与实际性能改进的强相关性。
-
为带部分观测的LTI系统开发了新的PAC-贝叶斯界
研究人员为包含输入和亚高斯噪声的带部分观测的随机线性时不变状态空间系统开发了新的PAC-贝叶斯误差界。这些界将预期预测误差与模型在其训练数据上产生的误差联系起来，还可以用于推导参数估计误差的界。鉴于线性时不变系统是RNN的子集，这项工作可以作为建立循环神经网络PAC-贝叶斯界的基础步骤。
-
新的FragileFlow方法提高了基础模型的鲁棒性
研究人员推出了一种名为FragileFlow的新型即插即用正则化器，旨在增强包括LLM和视觉语言模型在内的基础模型的鲁棒性。该方法解决了一种故障模式，即在决策边界附近，尽管概率质量转移到错误的类别，但预测仍然是正确的。FragileFlow将其形式化为边距感知误差流，并使用校准的边距缓冲区来识别和组织这种非目标类别概率质量，理论上为确定性最差类别鲁棒性提供了PAC-Bayes上限。在LLM基准测试和CLIP适应性实验中，Fragile…
-
新的PAC-贝叶斯框架增强了时间序列VAE的保证
研究人员开发了一个新的PAC-贝叶斯框架，为将变分自编码器（VAE）应用于时间序列数据时提供泛化保证。该框架将现有的PAC-贝叶斯保证扩展到具有马尔可夫潜在结构的模型，有效地捕捉时间依赖性，而不会随着数据轨迹的长度增加而增加保证。所提出的界限依赖于该领域常见的假设，并且作者在具体示例中证明了其适用性。
-
新论文探讨鞅中的信息流，统一了集中不等式
一篇新发表在arXiv上的论文详细介绍了在非负鞅的路径空间中理解信息流的进展。该研究引入了精确的变分恒等式，即使在任意随机时间也适用，统一并扩展了如Ville和PAC-Bayesian学习等经典集中不等式。该工作还量化了与任意随机时间预测相关的“窥探惩罚”，并探讨了测试鞅的几何混合如何使多模型安全测试受益。
-
新的PAC-Bayes理论聚焦行为等价性与Z信息
一篇新的研究论文介绍了PAC-Bayes理论，该理论超越了参数空间，聚焦于行为等价性和Z信息。该研究使用可测量的行为映射和测度分解来形式化行为等价性，以分解经典的PAC-Bayes复杂度。这种分解将对预测行为的不确定性与等价实现之间的变化分离开来，将Z信息定义为KL散度与仅行为不确定性复杂度之间的差距。
-
新采样方法提升长尾学习准确性
研究人员开发了一种名为锐度引导均衡采样（SGS）的新方法，以提高在长尾数据集上训练的模型的性能。SGS在训练过程中动态调整数据点的采样概率，优先考虑代表性不足的类别，同时在锐度感知最小化（SAM）使用时降低那些导致损失景观显著变化的类别权重。该方法旨在实现更平衡、更平坦的损失景观，从而提高泛化能力。SGS-SAM在CIFAR-100 LT和ImageNet-LT基准测试中表现出显著的改进，尾部准确率最高提升10.85个百分点，整体准确…
-
MasFACT框架解决了多智能体LLM系统中的拓扑遗忘问题
研究人员推出MasFACT，一个旨在解决由大型语言模型驱动的持续多智能体系统（MAS）中“拓扑遗忘”问题的新型框架。当适应新任务导致系统丢失从先前任务中学到的有效通信结构时，就会出现此问题。MasFACT采用几何感知后验迁移方法，利用融合的Gromov-Wasserstein最优传输来保留历史协作知识作为可迁移的拓扑先验。然后，系统使用PAC-Bayes引导的适应来平衡学习新任务与维护稳定的通信结构。实验结果表明，与现有方法相比，Ma…
-
新的PAC-贝叶斯框架解释了对抗训练过拟合
研究人员开发了一个新的PAC-贝叶斯分析框架，以理解对抗训练中鲁棒过拟合的现象。通过将具有动量SGD的对抗训练建模为一个离散时间动力学系统，该框架提供了时域解析的鲁棒泛化界限。这种方法将模型的鲁棒泛化性能与学习率、局部损失几何和迷你批次随机梯度等因素联系起来，深入了解了鲁棒过拟合的潜在机制，并提出了改进泛化的方法。
-
纠缠而非参数决定量子策略泛化能力
一项新的研究论文提出，在量子强化学习策略中，决定泛化能力的关键因素是纠缠，而不是参数的数量。该研究引入了一个PAC-贝叶斯框架，其中受纠缠影响的Fisher几何的有效维度决定了训练-测试差距。实验表明，即使纠缠电路的参数数量与非纠缠电路相同，其泛化能力也往往较差，这一发现已在IBM Heron量子处理器上得到验证。
-
新的PAC-Bayesian方法为二次系统提供控制认证
研究人员开发了一种使用PAC-Bayesian界限来认证二次闭环控制系统的新方法。该方法通过采用系统级综合参数化来解决无界和非Lipschitz损失函数带来的挑战。该方法为控制响应上的后验分布提供了PAC-Bayes-Chernoff证书，并包含一个数据驱动的界限，该界限可以最小化以创建用于控制选择的学习算法。
-
研究人员表征了新的多分布 Rényi 散度 · 跟踪了 2 个来源
研究人员表征了一个新的多分布 Rényi 散度广义族，这对于同时比较多个概率分布至关重要。这个新族被称为多路巧合散度，它源自五个独立的数学途径，表明它是规范的多分布 Rényi 演算。这项工作扩展了现有的双分布比较，并在多群体公平性和多假设检验等领域具有潜在应用。
-
新的代数恒等式统一了信息论结果
一篇新论文介绍了一个统一的代数恒等式，该恒等式连接了各种信息论变分结果。该恒等式将熵和散度的经典公式推广到多个先验，并适用于未归一化的先验。研究展示了其在语言模型和人类基因组序列上的应用，恢复了对比解码并分离了相关序列族。
-
论文：通过提示词，LLM作为通用问题解决者的能力存在根本性限制
一篇新论文认为，由于基于提示词的通信存在根本性限制，大型语言模型（LLM）并非真正的通用问题解决者。研究表明，语言本身是传达任务信息的有限渠道，而对齐约束会进一步扭曲任务的解释。这些限制造成了不可避免的误差下限，意味着即使拥有无限的数据或更大的模型规模，某些任务仍可能无法仅通过提示词来解决。
-
新论文质疑LLM因语言限制而产生的通用学习能力极限
一篇新的arXiv论文认为，由于自然语言作为接口所施加的基本限制，大型语言模型（LLM）并非真正的通用学习者。该研究引入了“表达力下限”和“目标不对齐下限”的概念，表明语言有限的容量和对齐限制造成了不可约的误差下限。这些限制意味着，即使拥有无限的数据，基于提示词的LLM也可能无法正确解决某些任务家族，这表明需要超越自然语言的接口。
-
用于平滑损失函数的新型PAC-Bayes去随机化方法
研究人员开发了一种新的方法，用于去随机化PAC-Bayes泛化界，特别适用于平滑损失函数。该方法旨在通过利用损失函数和预测器类别的平滑特性，为确定性预测器创建高概率界。研究详细介绍了从Gibbs预测器过渡到后验均值确定性预测器的成本，将其与Jensen差距类的泛化差距联系起来，并提出了一个受理论框架启发的实用正则化器。
-
新方法预测漂移和腐蚀下的数据分布
研究人员开发了一种新颖的在线学习方法，用于预测非平稳数据流中的完整数据生成分布，即使在受到漂移和对抗性腐蚀的情况下也能实现。该方法利用潜在聚类几何来表示候选概率定律，通过后验平均实现在线预测。这种方法避免了对数据流、漂移或腐蚀进行参数建模的需要，并在特定条件下为次线性累积Wasserstein遗憾提供了理论保证。