empirical risk minimization
PulseAugur coverage of empirical risk minimization — every cluster mentioning empirical risk minimization across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
研究发现，CART回归树可通过MID停止规则实现空间适应性
一篇新发表在arXiv上的论文详细介绍了停止规则在CART回归树中的统计作用。研究人员证明，在异质和各向异性平滑条件下，最小不纯度减少（MID）停止规则与适当的阈值相结合，可以实现空间适应性的minimax速率。然而，研究还发现，广泛使用的最小叶子大小停止规则无法实现这种空间适应性。
-
ReliableNet 解决深度学习中自信错误预测问题
研究人员推出了一种用于深度学习中可信分类的新方法 ReliableNet。该方法直接约束预测既自信又错误的概率，这是一种可能绕过人工审查的关键故障模式。ReliableNet 将此表述为机会约束经验风险最小化问题，确保联合自信错误（JCW）概率低于用户定义的风险预算。在各种数据集和不同类型的分布变化下，ReliableNet 证明了其对 JCW 预算的认证遵守以及具有竞争力的准确性，在选择性排序方面优于现有方法。
-
新研究探讨Cressie--Read散度下的鲁棒PAC学习
研究人员发表了一篇论文，详细介绍了分布鲁棒PAC学习的样本复杂度，特别关注Cressie--Read散度。该研究为具有VC维的假设类建立了新的界限，展示了对抗性扰动如何影响学习率。研究结果揭示了统计误差估计与鲁棒性放大之间复杂的相互作用，尤其是在agnostic学习的情况下。
-
新框架解决深度学习模型中的虚假相关性 · 已追踪2个来源
研究人员开发了一个新颖的两阶段框架，通过解决虚假相关性来提高深度神经网络在分布变化下的鲁棒性。该方法首先使用具有扩散模型的生成干预来创建前景对象的上下文偏移变体，在保持身份的同时改变背景。然后，一种新的跨变体自监督学习技术通过配对不同背景下的同一对象的变体来对齐以对象为中心的表示，从而抑制特定于背景的线索。该方法在Waterbirds、MetaShift和NICO++等基准测试中取得了最先进的性能。
-
新框架使用吉布斯度量进行数据驱动的分层学习
研究人员开发了一种新颖的数据驱动框架，用于学习利用分层结构上的吉布斯度量的系统。这种方法将经验损失函数转化为相互作用势，定义了一个基于能量的模型，其中数据生成了平衡学习状态的分布。该框架在经验损失景观与树上的概率推理之间建立了严格的联系，具有相变现象和不同预测机制的潜力。
-
两篇论文分析机器学习经验风险最小化理论极限
两篇新研究论文探讨了机器学习中经验风险最小化（ERM）的理论基础。第一篇论文《Replica Symmetry Breaking and Algorithmic Thresholds in Empirical Risk Minimization under Multi-Index Model》引入了一种增量近似消息传递（IAMP）算法，用于分析高维设置下的ERM性能，旨在表征多项式时间算法可实现的最佳性能。第二篇论文《Universa…
-
开发了新的差分隐私加权经验风险最小化算法
研究人员开发了一种新的差分隐私加权经验风险最小化（wERM）算法，这是标准ERM的推广，它考虑了不同个体对目标函数的贡献。这种新颖的方法提供了正式的隐私保证，并推导了经验和总体超额风险界限。该框架特别适用于个体化治疗规则的隐私保护方法，例如结果加权学习（OWL），并在模拟和真实数据实验中展示了稳健的性能。
-
新研究应对人类活动识别中的领域泛化挑战
一篇新研究论文探讨了由于分布偏移导致的人类活动识别（HAR）领域泛化挑战。该研究系统地评估了四种类型的偏移——设备类型、传感器放置、采样率和用户行为——发现多样性偏移占主导地位。该论文提出了一个HAR分布偏移基准，并评估了28种领域泛化方法，揭示了当前算法在实现模型泛化能力方面的局限性。
-
新的隐私框架“可预测性”是对差分隐私的补充
研究人员引入了一个新的隐私框架，称为“通过可预测性实现隐私”，它比传统的差分隐私（DP）提供了更细粒度的方法。这种新方法考虑了攻击者的特定知识、数据集的受损部分以及正在进行的查询类型。可预测性通过评估攻击者在观察算法输出后，除了从受损数据中已知的信息之外，还能在多大程度上提高预测敏感信息的能力来衡量隐私泄露。该框架是对DP的补充，可以与DP一起使用以增强隐私控制。
-
新研究解决隐私保护的广告转化预测问题
一篇新的arXiv论文介绍了一种从归因集进行统计学习的方法，解决了广告领域中的隐私限制问题，在这些领域中，广告点击和转化之间的直接联系是不可用的。该方法受到隐私保护浏览器API和第三方Cookie淘汰的启发，将从无知对手生成的粗略信号中学习形式化。该论文证明，使用无偏的总体损失估计器的经验风险最小化，可以实现泛化保证，这些保证会随着先验分布的信息量而扩展，并且对估计误差具有鲁棒性。
-
研究论文统一了CoCoA和ADMM优化算法
一篇新的研究论文探讨了两个分布式优化算法家族CoCoA和ADMM之间的关系。通过从对偶视角统一它们，研究表明，某些ADMM变体在岭正则化经验风险最小化问题上的表现可以与CoCoA相媲美，甚至更好。统一的视角还为共识ADMM提供了一个新的对偶间隙停止准则，并为ADMM类方法提供了统一的收敛性分析。
-
新研究揭示k折交叉验证的基本极限
一篇新的研究论文探讨了k折交叉验证的理论局限性，这是一种广泛用于估计机器学习模型性能的技术。该研究聚焦于二元分类中的多数算法，揭示了交叉验证的准确性高度依赖于折数（k）。研究人员引入了一个极小极大框架，证明当k随样本量n增长时，不可能实现O(1/n)的均方误差，且不可避免地存在Omega(sqrt(k)/n)的下界。这些发现突显了交叉验证中数据重用策略的基本约束，并指出了现有理论工作中的不准确之处。
-
新界限将泛化差距与数据熵联系起来
研究人员开发了一种新的方法来界定机器学习模型的泛化差距，这是理解过拟合的关键因素。这种新颖的方法建立了一个模型无关的泛化差距上限，仅取决于数据的 Rényi 熵。研究结果表明，如果数据量相对于数据分布的熵足够大，大型模型就能保持良好的泛化性能。该框架还解释了为什么向数据添加随机噪声会通过增加数据的 Rényi 熵来降低性能。
-
新论文提出毒性检测模型的多轴公平性
一篇新论文介绍了一个用于评估毒性检测模型公平性的框架，该框架考虑了排序、校准和弃权。研究发现，像经验风险最小化（ERM）这样的标准训练方法总体上可能看起来校准良好，但在不同身份子群体之间表现出显著的校准差异。诸如实例级重加权之类的干预措施可以改善排序但会加剧校准公平性问题，而分组分布鲁棒性优化（Group DRO）通过全局统一失准来消除校准差异。研究还强调，后验方法（如温度缩放和基于置信度的弃权）会继承训练失败的缺陷，并且它们本身也可…
-
新框架通过主动推理改进U统计量，适用于标签成本高昂的情况
研究人员开发了一种新的U统计量主动推理框架，旨在提高数据标注成本高昂时的估计效率。该方法在固定预算内选择性地查询信息性标签，并以增强的逆概率加权U统计量为基础。该框架还扩展到基于U统计量的经验风险最小化，在实验中显示出显著的效率提升并保持了目标覆盖率。
-
新的二次目标扰动方法增强了机器学习的差分隐私
研究人员推出了一种名为二次目标扰动（QOP）的新型机器学习差分隐私方法。与需要有界梯度的线性目标扰动（LOP）不同，QOP使用随机二次型来诱导强凸性和稳定性。这种方法允许在较弱的假设下提供隐私保证，即使在插值状态下也是如此，并且与近似解兼容。
-
AI研究人员开发用于共识引导的PAC学习算法
研究人员开发了一个名为“大概近似共识”（Probably Approximately Consensus）的新理论框架，用于识别在线平台上的广泛认同的观点。该方法将共识建模为一维意见空间中的一个区间，该区间源自用户偏好和主题显著性。提出了一种高效的经验风险最小化算法，提供了PAC学习保证，并在初步实验中展示了改进的查询效率。