hyperparameter optimization
PulseAugur coverage of hyperparameter optimization — every cluster mentioning hyperparameter optimization across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的DynaBO框架允许在贝叶斯优化中进行连续的用户控制
研究人员推出了一种新颖的贝叶斯优化框架DynaBO，旨在允许在超参数优化过程中进行连续的用户输入。与仅依赖初始专家知识的传统方法不同，DynaBO通过增强采集函数，在整个过程中整合用户提供的先验信息。实践证明，这种方法在保持渐近收敛保证的同时，通过信息性先验加速收敛，并包含防止误导性输入的保护措施。实验表明，DynaBO在各种基准测试中始终优于最先进的方法，从而能够进行更可靠、更高效的协作模型开发。
-
Snowflake 通过新的 HPO API 简化 ALS 推荐引擎训练
Snowflake 推出了其超参数优化 (HPO) 服务的新 API，旨在简化交替最小二乘法 (ALS) 推荐引擎的训练分发。此功能解决了 ALS（一种流行的协同过滤算法）高效扩展的长期挑战。此次集成旨在让数据工程师和开发人员更轻松地训练和部署推荐模型。
-
新研究深化了对双层优化方法分析和收敛性的研究
研究人员开发了新的分析框架和算法，以提高双层优化方法的效率和收敛性，这对于机器学习中的超参数调整和元学习等应用至关重要。一篇论文引入了“解耦范数分析”（DNA），以实现单循环方法更快的收敛速度，改进了现有的理论保证。另一项贡献提出了一个“即插即用”框架（PnPBO），集成了各种随机估计器，展示了与单层优化相当的最佳样本复杂度。此外，还提出了一种新颖的信息论方法用于双层问题的贝叶斯优化，并为双层和最小极大优化引入了加速一阶方法，其中一种…
-
大型语言模型可以模拟运营管理中的高级人类行为，但分布准确性参差不齐
一篇新论文探讨了将大型语言模型（LLMs）用作运营管理中人类行为模拟器的可能性。研究人员发现，虽然大型语言模型通常可以复制行为-运营实验的高级结果，但其详细的响应分布经常与人类数据不同。该研究表明，诸如思维链提示和超参数调整等技术有助于减少这些分布不匹配，有时能使较小的或开源的模型表现与大型专有系统相当。
-
详细介绍神经架构搜索的双层优化框架
本文将神经架构搜索（NAS）构建为一个双层优化问题，并对其进行了结构化概述。文章将现有的NAS方法分为基于采样的方法和基于双层理论的方法。研究强调了一个新方向，即利用辅助数学规划框架整合训练损失函数的二阶信息，在修改架构参数的同时确保最优的模型参数。这种集成方法旨在获得更具原则性和理论一致性的结果，其中基于双层理论的方法在准确性和效率方面通常优于基于采样的方法。
-
ASAP框架通过代理-系统协同设计增强机器学习超参数优化
研究人员开发了ASAP，一种用于机器学习实验中超参数优化（HPO）的新型代理-系统协同设计框架。ASAP通过整合多样化的优化器池、允许LLM选择建议以及优化系统循环以减少挂钟时间，解决了现有HPO工具的局限性。与单一工具替代方案相比，这种方法旨在提高样本效率并处理更广泛的问题。
-
新的超参数优化方法提高了 DSNN 的准确性和可持续性
研究人员开发了一种面向深度迁移神经网络 (DSNN) 的多目标超参数优化 (HPO) 方法，以促进可持续深度学习。该方法结合了多保真度 HPO 和多目标优化，以平衡模型准确性与能耗。实验表明，该方法可以产生准确率超过 80% 的模型，同时显著降低计算成本，从而促进更高效、可持续的人工智能发展。
-
新策略通过深度优先而非保真度优先来增强噪声演化算法
研究人员开发了一种名为概率精英成员资格（PEM）的新方法，用于在固定评估预算下改进噪声演化策略。该方法优先探索更多的分布更新（深度），而不是精炼每次更新的准确性（保真度）。PEM 整合了排名不确定性，以在减少离散度的同时保持条件均值更新，从而在预算受限的情况下有效优化策略搜索和超参数调整。