PulseAugur
中
实时 10:00:29
实体 Rényi Divergence and Kullback-Leibler Divergence

Rényi Divergence and Kullback-Leibler Divergence

PulseAugur coverage of Rényi Divergence and Kullback-Leibler Divergence — every cluster mentioning Rényi Divergence and Kullback-Leibler Divergence across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
5
90 天内 8
发布 · 30天
0
90 天内 0
论文 · 30天
5
90 天内 8
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 8 条
  1. TOOL · CL_327166 ·

    新的高斯近似增强了差分隐私算法分析

    研究人员开发了一种分析差分隐私算法隐私保证的新方法,特别关注差分隐私随机梯度下降(DP-SGD)。新方法使用高斯近似来约束子采样机制组合的隐私损失,通过考虑独立随机变量之和的近似高斯性质,提供了比以前方法更紧密的界限。该技术提供了更准确的隐私分析,特别是对于高斯机制和像球箱采样这样的随机分配方法,从而提高了隐私保护机器学习的准确性。

  2. RESEARCH · CL_326876 ·

    新的 Rènyi 正则化解决了贝叶斯推理中的模式崩溃问题

    研究人员开发了一种名为 Rènyi-Regularized Flow-Based Variational Inference 的新方法,以解决贝叶斯模型校准中的模式崩溃问题。该技术通过引入基于 Rényi 散度的正则化项来改善后验近似,鼓励近似后验更好地覆盖先验支持。在实验中,该正则化成功将接近崩溃的案例比例从 50% 降低到 25%,尽管它在近似精度方面存在权衡,并且未能完全解决模式崩溃问题。

  3. TOOL · CL_308310 ·

    新的基于Rényi的度量增强了MLP的可解释性

    研究人员引入了一系列新的度量,称为“alpha-RC度量”,旨在增强多层感知机(MLP)的可解释性。这些度量基于Rényi散度,旨在量化雅可比矩阵的子矩阵的集中度,提供一个介于0和1之间的有界度量,与网络大小无关。这种方法解决了现有参与度比度量(Participation Ratio metric)依赖于网络架构的局限性。在单隐藏层MLP上的计算实验证明了这些新度量的效用。

  4. RESEARCH · CL_301219 ·

    新研究探讨先进的后验采样和固有的隐私保证

    两篇新研究论文探讨了统计建模和隐私方面的先进技术。第一篇论文介绍了潜在退火后验采样(LAPS),这是一种通过将稀疏观测的随机场映射到低维潜在空间并使用流匹配进行先验学习来改进其后验推理的方法。第二篇论文提出了一个使用 Rényi 散度的统一框架,用于分析后验采样固有的差分隐私保证,该框架适用于各种贝叶斯模型。

  5. TOOL · CL_294146 ·

    新方法改进了局部差分隐私下的变化点检测

    研究人员开发了新的参数化方法,用于在局部差分隐私下进行变化点检测。该研究为广义似然比估计器推导了改进的准确性保证,并在私有和非私有设置中建立了有限样本的 minimax 下界。基于聚合随机响应和二元机制设计了算法,以最大化 Chernoff 信息,并在合成数据上评估了其性能。

  6. TOOL · CL_180435 ·

    新框架改进了重尾奖励下的大语言模型对齐

    一篇新的研究论文介绍了一个尾部感知的、信息论的框架,旨在改进大语言模型(LLMs)的对齐,特别是在涉及重尾奖励的情况下。该框架利用了移位对数 f_theta 散度和 Rényi 散度,为次威布尔(sub-Weibull)数据建立界限,这类数据可能比传统的次高斯或次指数分布具有更重的尾部。这种方法应用于人类反馈强化学习(RLHF),展示了 Rényi 正则化对齐如何缓解困扰标准 KL 正则化的奖励攻击(reward hacking)和古…

  7. TOOL · CL_90917 ·

    新方法表征隐藏加权稀疏图的恢复阈值

    研究人员开发了一种统一的表征方法,用于刻画噪声高维数据中隐藏结构恢复的信息论极限。该研究侧重于识别嵌入在随机加权完全图中的未知图,其中边权重遵循特定分布。研究结果将KL散度与Erdős-Rényi随机图模型的阈值联系起来,并证明了对于高斯等特定分布存在全有或全无现象。

  8. RESEARCH · CL_36353 ·

    新算法提高了非对数凹形分布的采样复杂性

    研究人员开发了一种从非对数凹形分布采样的算法,改进了先前的方法。该算法利用了对数凹形采样方面的最新进展,并使用受限高斯预言机(RGO)实现。这种方法在相对Fisher信息方面提供了与对数凹形采样维度依赖性相匹配的复杂性保证,标志着非对数凹形分布的改进。