Bilevel Optimization for Cost Function Determination in Dynamic Simulation of Human Gait
PulseAugur coverage of Bilevel Optimization for Cost Function Determination in Dynamic Simulation of Human Gait — every cluster mentioning Bilevel Optimization for Cost Function Determination in Dynamic Simulation of Human Gait across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的PROBE算法解决了机器学习中的非凸双层优化问题
一篇新的研究论文介绍了一种名为PROBE的算法，该算法旨在解决下层目标函数为非凸的双层优化问题。现有方法通常依赖于凸性假设或一阶驻定性，这对于一般的非凸场景来说是不够的。PROBE利用二阶驻定性重构来确保下层的局部最优，并被证明可以在有限时间内收敛。实验表明，与最先进的方法相比，PROBE在涉及大型语言模型和元学习的任务上表现更优。
-
新的鲁棒性机制通过双层优化学习参数
研究人员开发了一个新的分布鲁棒学习框架，该框架从预留数据中学习鲁棒性机制的参数，而不是依赖于广泛的调优。该方法利用双层优化，结合了上下层极小极大问题，以处理训练集中存在和不存在组标签的情况。该框架提供了与网格搜索相当的理论泛化保证，但计算效率更高，并且在显著的分布变化下得到了经验验证。
-
LLM校准研究提出新方法以提高基准可比性和域外泛化能力
两篇新研究论文提出了改进大型语言模型（LLM）校准的方法。第一篇论文介绍了一个基于项目反应理论（IRT）的框架，该框架使用锚点项目来校准新基准，即使模型在不同数据集上随时间进行评估，也能实现可比的分数。第二篇论文提出了一种双层优化方法，在训练过程中修改模型参数以最大化预测分布的熵，直接针对过度自信问题并提高域外泛化能力。
-
新研究深化了对双层优化方法分析和收敛性的研究
研究人员开发了新的分析框架和算法，以提高双层优化方法的效率和收敛性，这对于机器学习中的超参数调整和元学习等应用至关重要。一篇论文引入了“解耦范数分析”（DNA），以实现单循环方法更快的收敛速度，改进了现有的理论保证。另一项贡献提出了一个“即插即用”框架（PnPBO），集成了各种随机估计器，展示了与单层优化相当的最佳样本复杂度。此外，还提出了一种新颖的信息论方法用于双层问题的贝叶斯优化，并为双层和最小极大优化引入了加速一阶方法，其中一种…
-
详细介绍神经架构搜索的双层优化框架
本文将神经架构搜索（NAS）构建为一个双层优化问题，并对其进行了结构化概述。文章将现有的NAS方法分为基于采样的方法和基于双层理论的方法。研究强调了一个新方向，即利用辅助数学规划框架整合训练损失函数的二阶信息，在修改架构参数的同时确保最优的模型参数。这种集成方法旨在获得更具原则性和理论一致性的结果，其中基于双层理论的方法在准确性和效率方面通常优于基于采样的方法。
-
新理论界定了耦合梯度下降中的瞬态放大
研究人员开发了一种新的伪谱理论来分析耦合梯度下降中的瞬态放大，这是一种用于双层优化和对抗性训练的方法。该理论为块三角雅可比行列式提供了精确的界限，揭示了一种先前被谱半径分析所掩盖的非渐近学习动力学状态。在包括神经网络训练在内的各种问题上的实验证实了该理论的有效性。