Poincaré inequality
PulseAugur coverage of Poincaré inequality — every cluster mentioning Poincaré inequality across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新框架证明了注意力和LoRA模型的可训练性
研究人员为机器学习模型中的多头注意机制和低秩自适应（LoRA）的随机训练建立了一个严格的框架。他们的工作证明，对于某些正则化，注意层和LoRA都会为其各自的Gibbs测度产生Poincaré不等式。这一发现很重要，因为Poincaré常数对于LoRA来说独立于数据维度，对于多头注意力来说独立于头维度，根据最近的结果，这意味着模仿SGD的随机微分方程可以最小化相关的损失。这些注意力和神经网络的可训练性结果是新颖的，并且不依赖于数据或模型大小的假设。
-
新的蒙特卡洛采样分析提高了机器学习效率
研究人员开发了一种改进的黑塞矩阵无关高分辨率（HFHR）蒙特卡洛采样分析方法，该技术增强了用于机器学习问题的欠阻尼 Langevin 动力学。新的分析在特定的数学条件下建立了 HFHR 动力学的定量收缩率，优于现有方法。此外，该研究还为 HFHR 蒙特卡洛算法提供了非渐近收敛界和迭代复杂度，并通过数值实验证明了其在贝叶斯学习任务中的优势。
-
新的镜像 Langevin 扩散提供收敛保证
研究人员引入了镜像 Langevin 扩散（MLD），一种在 Hessian 流形上内在运行 Langevin 扩散的方法。该研究探讨了 MLD 在何种条件下可以实现指数收敛到平衡态，特别是对于非强对数凹的概率密度。研究结果依赖于 Lyapunov 函数方法来建立 Poincaré 或 log-Sobolev 不等式的充分条件，进而保证指数收敛。此外，该论文提出了一种使用两步 Gibbs 采样器对 MLD 的马尔可夫链近似，这是 Si…