empirical risk minimization
PulseAugur coverage of empirical risk minimization — every cluster mentioning empirical risk minimization across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的自适应采样策略增强了金属增材制造中PINNs的性能
研究人员开发了一种新的物理信息神经网络（PINNs）自适应采样策略，以提高其在金属增材制造中的泛化能力。该方法在最近的一篇arXiv论文中有所介绍，它使用条件流匹配模型来学习高残差区域的分布，然后将其与域信息自适应采样相结合，以生成更有效的配置点。实验表明，与传统的静态采样方法相比，该方法显著降低了误差，为金属增材制造过程提供了更好的热建模。
-
机器学习中重尾数据的新分析方法
研究人员开发了一种新方法，用于分析机器学习中经验风险最小化（ERM）在处理具有重尾分布的数据集时的性能。该方法引入了一个函数序参量来描述与每个系数相关的随机有效问题。利用副本法，该研究在高维极限下精确刻画了泛化误差，并建立了一个重尾普适性定律，详细说明了典型误差如何与预测可靠性和贝叶斯最优预测误差相关。
-
新研究提供先进的AI公平性审计方法 · 2篇论文
两篇新研究论文提出了用于审计机器学习模型公平性的先进方法。第一篇论文介绍了一个“偏差探针”框架，用于有针对性的自适应查询，以揭示偏差结构，同时保持模型机密性，提供样本复杂度保证，并识别高偏差和低偏差区域。第二篇论文提出了一个基于容忍度的公平性审计框架，用于违规认证和敏感性筛选，允许特定于上下文的容忍度阈值，并展示了其在COMPAS分析中的应用。
-
新分析揭示了人类活动识别中单个域泛化组件的收益有限
一项对智能手机端人类活动识别（HAR）域泛化（DG）技术的系统性分析显示，单个组件的收益有限。该研究进行了超过41万次实验，发现替代训练目标很少能持续优于经验风险最小化（ERM），而动态域泛化等架构修改则显示出独立的改进。然而，结合多个DG组件通常能产生更优的结果，尽管这些收益取决于具体的模型和数据偏移场景。研究还强调了当前性能与潜在收益之间存在显著差距，表明需要更好的模型选择策略。
-
新的Q-聚合方法协调了通用和统一的学习率
一篇新的研究论文介绍了一种名为“Q-聚合”的方法，该方法旨在协调回归分析中的通用和统一学习框架。研究表明，Q-聚合可以实现有限假设类的 minimax 最优尾部和指数通用率。然而，对于可数无限假设类，研究表明在这两种类型的速率之间存在固有的权衡，而 Q-聚合有助于精确地追踪这种权衡。
-
新的SAGE框架解决了机器学习模型中的虚假相关性问题
研究人员开发了SAGE，一个新颖的两阶段生成增强框架，旨在解决机器学习模型中的虚假相关性问题。该方法利用聚类衍生的子标签和类别标签来微调生成模型和文本编码器，创建合成数据以平衡训练集中的代表性不足的区域并构建平衡的验证集。SAGE旨在通过减轻对多数虚假属性的依赖来提高模型在少数群体上的性能，其表现优于现有的无分组标签方法。
-
研究发现，CART回归树可通过MID停止规则实现空间适应性
一篇新发表在arXiv上的论文详细介绍了停止规则在CART回归树中的统计作用。研究人员证明，在异质和各向异性平滑条件下，最小不纯度减少（MID）停止规则与适当的阈值相结合，可以实现空间适应性的minimax速率。然而，研究还发现，广泛使用的最小叶子大小停止规则无法实现这种空间适应性。
-
ReliableNet 解决深度学习中自信错误预测问题
研究人员推出了一种用于深度学习中可信分类的新方法 ReliableNet。该方法直接约束预测既自信又错误的概率，这是一种可能绕过人工审查的关键故障模式。ReliableNet 将此表述为机会约束经验风险最小化问题，确保联合自信错误（JCW）概率低于用户定义的风险预算。在各种数据集和不同类型的分布变化下，ReliableNet 证明了其对 JCW 预算的认证遵守以及具有竞争力的准确性，在选择性排序方面优于现有方法。
-
新研究探讨Cressie--Read散度下的鲁棒PAC学习
研究人员发表了一篇论文，详细介绍了分布鲁棒PAC学习的样本复杂度，特别关注Cressie--Read散度。该研究为具有VC维的假设类建立了新的界限，展示了对抗性扰动如何影响学习率。研究结果揭示了统计误差估计与鲁棒性放大之间复杂的相互作用，尤其是在agnostic学习的情况下。
-
新框架解决深度学习模型中的虚假相关性 · 已追踪2个来源
研究人员开发了一个新颖的两阶段框架，通过解决虚假相关性来提高深度神经网络在分布变化下的鲁棒性。该方法首先使用具有扩散模型的生成干预来创建前景对象的上下文偏移变体，在保持身份的同时改变背景。然后，一种新的跨变体自监督学习技术通过配对不同背景下的同一对象的变体来对齐以对象为中心的表示，从而抑制特定于背景的线索。该方法在Waterbirds、MetaShift和NICO++等基准测试中取得了最先进的性能。
-
新框架使用吉布斯度量进行数据驱动的分层学习
研究人员开发了一种新颖的数据驱动框架，用于学习利用分层结构上的吉布斯度量的系统。这种方法将经验损失函数转化为相互作用势，定义了一个基于能量的模型，其中数据生成了平衡学习状态的分布。该框架在经验损失景观与树上的概率推理之间建立了严格的联系，具有相变现象和不同预测机制的潜力。
-
两篇论文分析机器学习经验风险最小化理论极限
两篇新研究论文探讨了机器学习中经验风险最小化（ERM）的理论基础。第一篇论文《Replica Symmetry Breaking and Algorithmic Thresholds in Empirical Risk Minimization under Multi-Index Model》引入了一种增量近似消息传递（IAMP）算法，用于分析高维设置下的ERM性能，旨在表征多项式时间算法可实现的最佳性能。第二篇论文《Universa…
-
开发了新的差分隐私加权经验风险最小化算法
研究人员开发了一种新的差分隐私加权经验风险最小化（wERM）算法，这是标准ERM的推广，它考虑了不同个体对目标函数的贡献。这种新颖的方法提供了正式的隐私保证，并推导了经验和总体超额风险界限。该框架特别适用于个体化治疗规则的隐私保护方法，例如结果加权学习（OWL），并在模拟和真实数据实验中展示了稳健的性能。
-
新研究应对人类活动识别中的领域泛化挑战
一篇新研究论文探讨了由于分布偏移导致的人类活动识别（HAR）领域泛化挑战。该研究系统地评估了四种类型的偏移——设备类型、传感器放置、采样率和用户行为——发现多样性偏移占主导地位。该论文提出了一个HAR分布偏移基准，并评估了28种领域泛化方法，揭示了当前算法在实现模型泛化能力方面的局限性。
-
新的隐私框架“可预测性”是对差分隐私的补充
研究人员引入了一个新的隐私框架，称为“通过可预测性实现隐私”，它比传统的差分隐私（DP）提供了更细粒度的方法。这种新方法考虑了攻击者的特定知识、数据集的受损部分以及正在进行的查询类型。可预测性通过评估攻击者在观察算法输出后，除了从受损数据中已知的信息之外，还能在多大程度上提高预测敏感信息的能力来衡量隐私泄露。该框架是对DP的补充，可以与DP一起使用以增强隐私控制。
-
新研究解决隐私保护的广告转化预测问题
一篇新的arXiv论文介绍了一种从归因集进行统计学习的方法，解决了广告领域中的隐私限制问题，在这些领域中，广告点击和转化之间的直接联系是不可用的。该方法受到隐私保护浏览器API和第三方Cookie淘汰的启发，将从无知对手生成的粗略信号中学习形式化。该论文证明，使用无偏的总体损失估计器的经验风险最小化，可以实现泛化保证，这些保证会随着先验分布的信息量而扩展，并且对估计误差具有鲁棒性。
-
研究论文统一了CoCoA和ADMM优化算法
一篇新的研究论文探讨了两个分布式优化算法家族CoCoA和ADMM之间的关系。通过从对偶视角统一它们，研究表明，某些ADMM变体在岭正则化经验风险最小化问题上的表现可以与CoCoA相媲美，甚至更好。统一的视角还为共识ADMM提供了一个新的对偶间隙停止准则，并为ADMM类方法提供了统一的收敛性分析。
-
新研究揭示k折交叉验证的基本极限
一篇新的研究论文探讨了k折交叉验证的理论局限性，这是一种广泛用于估计机器学习模型性能的技术。该研究聚焦于二元分类中的多数算法，揭示了交叉验证的准确性高度依赖于折数（k）。研究人员引入了一个极小极大框架，证明当k随样本量n增长时，不可能实现O(1/n)的均方误差，且不可避免地存在Omega(sqrt(k)/n)的下界。这些发现突显了交叉验证中数据重用策略的基本约束，并指出了现有理论工作中的不准确之处。
-
新界限将泛化差距与数据熵联系起来
研究人员开发了一种新的方法来界定机器学习模型的泛化差距，这是理解过拟合的关键因素。这种新颖的方法建立了一个模型无关的泛化差距上限，仅取决于数据的 Rényi 熵。研究结果表明，如果数据量相对于数据分布的熵足够大，大型模型就能保持良好的泛化性能。该框架还解释了为什么向数据添加随机噪声会通过增加数据的 Rényi 熵来降低性能。
-
新论文提出毒性检测模型的多轴公平性
一篇新论文介绍了一个用于评估毒性检测模型公平性的框架，该框架考虑了排序、校准和弃权。研究发现，像经验风险最小化（ERM）这样的标准训练方法总体上可能看起来校准良好，但在不同身份子群体之间表现出显著的校准差异。诸如实例级重加权之类的干预措施可以改善排序但会加剧校准公平性问题，而分组分布鲁棒性优化（Group DRO）通过全局统一失准来消除校准差异。研究还强调，后验方法（如温度缩放和基于置信度的弃权）会继承训练失败的缺陷，并且它们本身也可…