empirical risk minimization
PulseAugur coverage of empirical risk minimization — every cluster mentioning empirical risk minimization across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新界限将泛化差距与数据熵联系起来
研究人员开发了一种新的方法来界定机器学习模型的泛化差距，这是理解过拟合的关键因素。这种新颖的方法建立了一个模型无关的泛化差距上限，仅取决于数据的 Rényi 熵。研究结果表明，如果数据量相对于数据分布的熵足够大，大型模型就能保持良好的泛化性能。该框架还解释了为什么向数据添加随机噪声会通过增加数据的 Rényi 熵来降低性能。
-
新论文提出毒性检测模型的多轴公平性
一篇新论文介绍了一个用于评估毒性检测模型公平性的框架，该框架考虑了排序、校准和弃权。研究发现，像经验风险最小化（ERM）这样的标准训练方法总体上可能看起来校准良好，但在不同身份子群体之间表现出显著的校准差异。诸如实例级重加权之类的干预措施可以改善排序但会加剧校准公平性问题，而分组分布鲁棒性优化（Group DRO）通过全局统一失准来消除校准差异。研究还强调，后验方法（如温度缩放和基于置信度的弃权）会继承训练失败的缺陷，并且它们本身也可…
-
新框架通过主动推理改进U统计量，适用于标签成本高昂的情况
研究人员开发了一种新的U统计量主动推理框架，旨在提高数据标注成本高昂时的估计效率。该方法在固定预算内选择性地查询信息性标签，并以增强的逆概率加权U统计量为基础。该框架还扩展到基于U统计量的经验风险最小化，在实验中显示出显著的效率提升并保持了目标覆盖率。
-
新的二次目标扰动方法增强了机器学习的差分隐私
研究人员推出了一种名为二次目标扰动（QOP）的新型机器学习差分隐私方法。与需要有界梯度的线性目标扰动（LOP）不同，QOP使用随机二次型来诱导强凸性和稳定性。这种方法允许在较弱的假设下提供隐私保证，即使在插值状态下也是如此，并且与近似解兼容。
-
AI研究人员开发用于共识引导的PAC学习算法
研究人员开发了一个名为“大概近似共识”（Probably Approximately Consensus）的新理论框架，用于识别在线平台上的广泛认同的观点。该方法将共识建模为一维意见空间中的一个区间，该区间源自用户偏好和主题显著性。提出了一种高效的经验风险最小化算法，提供了PAC学习保证，并在初步实验中展示了改进的查询效率。