Kullback–Leibler divergence
PulseAugur coverage of Kullback–Leibler divergence — every cluster mentioning Kullback–Leibler divergence across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新研究将Föllmer过程与DDPM联系起来，提高了采样效率
研究人员探讨了Föllmer过程与去噪扩散概率模型（DDPM）之间的联系，发现离散化Föllmer过程可以为DDPM采样器产生最优的超参数设置。这种方法在Wasserstein距离和KL散度方面取得了改进的误差界限。此外，还提出了一种名为前向学习离散扩散（FLDD）的新方法，该方法学习加噪过程以实现更快、少步数的优质样本生成。
-
芯片封装商转向先进技术，将传统业务留给中国
半导体封装公司如ASE和Amkor正从低利润、商品化的组装业务转向对AI和HPC应用至关重要的、高利润的先进封装业务。这一战略举措涉及对CoWoS等先进封装技术的巨额投资，而传统的引线键合产能正日益集中在中国。尽管PC和智能手机需求疲软，中国却出现了引线键合机需求的激增，这表明行业正发生结构性转变。
-
新的DP采样方法使用Wasserstein距离
研究人员引入了一个新的框架，用于从分布中进行差分隐私采样，利用Wasserstein距离作为主要的效用度量。该方法解决了先前依赖KL散度的方法的局限性，特别是在处理不同分布支持或几何结构重要时。提出的Wasserstein投影机制（WPM）旨在实现minimax最优，并附带了近似计算和收敛保证的算法。
-
新方法增强LLM的On-Policy蒸馏
研究人员开发了新方法来提高大型语言模型On-Policy蒸馏（OPD）的效率和稳定性。一种方法vOPD使用源自反向KL散度的控制变量基线，在没有显著计算开销的情况下降低梯度方差。另一种方法ROPD仅使用教师生成的响应即可实现基于规则的蒸馏，提供了基于logit的OPD的黑盒兼容替代方案。第三种技术Near-Policy Distillation（NPD）通过异步生成和选择性打包来加速该过程，实现了显著的加速并优于标准微调。
-
New AI alignment framework tackles persona-based jailbreak attacks
Researchers have developed a new framework called Persona-Invariant Alignment (PIA) to enhance the safety of large language models against persona-based jailbreak attacks. PIA employs an adversarial self-play approach, …
-
New method resolves bias in AI answer-level fine-tuning games
Researchers have developed a new method to address biases in Answer-Level Fine-Tuning (ALFT) algorithms. The approach generalizes the Distributional Alignment Game framework to arbitrary Bregman divergences, enabling th…
-
研究人员提出新颖的VAE重参数化方法以处理非平凡的潜在空间拓扑
研究人员开发了一种新颖的方法来推广变分自编码器（VAE）中使用的重参数化技巧。这项新技术允许VAE处理具有复杂、非平凡拓扑的潜在空间，例如克莱因瓶，这些空间不是李群。该方法通过使用覆盖映射使KL散度项在解析上可处理，从而使VAE即使在这些复杂的潜在结构下也能有效学习。论文通过引入“KleinVAE”来展示这一点，并讨论了其在贝叶斯学习中作为权重先验的潜在应用，特别是在卷积视觉模型中。
-
新架构通过可删除的用户代理实现隐私保护的个性化大语言模型
研究人员开发了一种新颖的三层架构，旨在增强个性化大语言模型中的隐私保护。该系统通过利用可组合适配器和可删除的用户代理，将用户特定数据与核心模型权重分离开来。在 Phi-3.5-mini 和 Llama-3.1-8B 上的实验表明，用户数据会影响输出，但不会污染共享权重，并且删除用户代理可以有效地将模型恢复到其基线状态。