optuna
PulseAugur coverage of optuna — every cluster mentioning optuna across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Confopt 与 Optuna:面向噪声的超参数搜索结果喜忧参半
一项在 131 个数据集上比较超参数优化采样器 Confopt 和 Optuna 默认 TPE 的研究发现,Confopt 在精确率-召回率 AUC 方面略有优势。然而,这以更长的搜索时间和更差的模型校准为代价。研究表明,虽然 Confopt 考虑了评分中的噪声,但其在小型数据集上的默认实现并未持续优于 TPE。
-
Optuna v5.1.0 发布,支持 Python 3.15,放弃 3.9
Optuna 发布了 5.1.0 版本,该版本增加了对 Python 3.15 的支持,同时停止支持 Python 3.9。此次更新还提高了等高线图和帕累托前沿图绘图函数的性能,并修复了许多错误。
-
表格基础模型在电信客户流失预测方面显示出优于微调 GBDT 的利润优势
一项对表格基础模型 (TFM) 的新评估表明,在预测电信公司客户流失方面,它们可以优于微调梯度提升模型 (GBDT)。该研究在五个公开数据集上,重新评估了几种 TFM,包括 TabPFN-2.5、TabPFN-3.5 和 TabICL v2,并与使用 Optuna 微调的 GBDT 进行了比较。结果表明,TabPFN-3.5 在某些数据集上的预期最大利润 (EMP) 方面表现出显著的改进,尽管在校正后收益并非总是具有统计学意义。研究还…
-
人工智能驱动的数字孪生以92%的准确率预测牛的热应激
研究人员开发了一个用于精准畜牧业的新型数字孪生框架,专注于预测奶牛的核心体温以检测热应激。该框架整合了基于物理的模拟和机器学习模型,包括高斯过程、卡尔曼滤波器和马尔可夫链,以模拟体温调节、个体偏差、实时数据对齐和活动状态。该系统使用三阶段堆叠的LightGBM模型集成,在提前2小时的预测中实现了0.783的交叉验证R2和92.38%的预测区间覆盖率。
-
贝叶斯优化增强了用于粒子重建的ACTS参数调优
本文探讨了优化ACTS参数套件的新方法,ACTS是用于带电粒子重建的工具。研究人员研究了贝叶斯优化技术,特别是期望改进(Expected Improvement)和置信上界(Upper Confidence Bound),并将它们与现有的Optuna树状结构Parzen估计器(TPE)和随机搜索进行了比较。他们的发现表明,即使在将搜索扩展到更多参数的情况下,贝叶斯方法也能比TPE更有效地及更早地识别出强大的配置。此外,使用期望超体积改…
-
Heretic 工具在无后训练情况下自动化 AI 模型去审查
Heretic 是一款开源工具,可在无需昂贵的后训练情况下自动化移除语言模型的安全对齐。它利用 Optuna 进行参数优化,共同最小化模型拒绝和 KL 散度,以在剥离审查的同时保持智能。这使得开发人员可以直接从命令行去审查 transformer 模型,绕过手动向量调优。
-
Rustuna: Optuna 的高性能 Rust 实现发布
Rustuna,Optuna 超参数优化框架的一个新实现,已发布。Rustuna 完全用 Rust 构建,与之前的 Python 版本相比,提供了更高的性能和内存效率。它保持了与 Optuna API 和设计的兼容性,同时消除了 Python 依赖,以增强对供应链攻击的安全性。
-
DeepSeek、Qwen 降低 AI 模型输入价格;Optuna v5 发布
DeepSeek 和 Qwen 宣布降低其 AI 模型的输入价格。同时,Optuna 发布了其超参数优化工具的第 5 版。这些进展发生在同一天,为 AI 从业者提供了成本节省和改进的工具。
-
机器学习模型高精度预测达喀尔住宅租金
研究人员开发了一个机器学习流程来预测达喀尔的住宅租金,该市超过一半的家庭是租房者。创建了一个包含1507个租赁房源的原始数据集,并对其进行了新特征的丰富。一个优化的XGBoost模型取得了最佳性能,R^2值为0.847,使用SHAP值的特征重要性分析显示,位置是一个非常有影响力的预测因子。
-
Optuna超参数框架增强试验管理
Optuna超参数优化框架已更新,包含允许更高效试验管理的新功能。这些增强功能使Optuna能够根据预定义标准放弃大部分试验,具体为20次中的12次。此功能旨在通过将资源集中在更有希望的优化路径上来简化模型训练过程。
-
六种提示优化框架的有效性对比
最近的一项分析比较了六种提示优化框架:DSPy、GEPA、TextGrad、agent-opt、Arize Prompt Learning 和 MLflow 的优化器。研究发现,这些框架不能互换使用,因为它们代表了从完整编程模型到单一算法和平台功能的各种不同方法。有效性的关键区别在于能否针对用户自己的数据集上的特定指标进行优化,而易于更换搜索算法是一个重要因素。
-
发布新的 SpotOptim Python 包用于黑盒函数优化
SpotOptim Python 包已发布,为优化昂贵的黑盒函数提供了一个框架。它采用基于 Kriging 的方法和预期改进(Expected Improvement),支持各种变量类型、带噪声的评估和多目标优化。该包包含诸如基于成功率的重启机制以防止停滞等功能,并与 scikit-learn 兼容的代理模型集成。SpotOptim 还提供 TensorBoard 日志记录以进行实时监控,并与其他几个流行的优化工具进行了比较。
-
新框架在量子退火器上自动调优 SVM
本文介绍了一种新颖的框架,用于优化在量子启发式退火器上使用二次无约束二元优化 (QUBO) 模型的支持向量机 (SVM)。该框架采用 Optuna 进行自动调优,处理与数值表示、核几何和约束惩罚相关的参数。该方法在 Fixstars Amplify 退火引擎、Toshiba SQBM+ 和 Fujitsu Digital Annealer 上进行了测试,在具有不同标签噪声水平的分类任务上,与传统的网格搜索相比,平均准确率提高了 0.8…
-
机器学习模型在电力需求预测方面进行基准测试
一项新的基准研究评估了十种机器学习模型在新英格兰地区的短期电力需求预测能力,利用了天气、日历和 COVID-19 数据。研究发现,梯度提升树模型(特别是 CatBoost 和 XGBoost)的表现优于 LSTMs 和 Transformers 等独立的神经网络架构。分析表明,历史需求数据是最重要的预测因子,而 COVID-19 指标的纳入显示出时间有效性衰减的迹象。
-
使用 Ray、Optuna 和 MLflow 构建的用于分布式超参数调优的 MLOps 平台
本文详细介绍了分布式超参数优化平台的构建过程。作者概述了他们如何集成 Ray、Optuna 和 MLflow 来创建一个能够并行模型调优的系统。该平台设计为具有弹性,能够处理工作节点崩溃,并确保模型仅在满足特定性能标准时才被提升。
-
用户寻求对大型细胞分类数据集进行高效超参数调优
r/MachineLearning 上的一位用户正在寻求关于如何对包含 430 万个细胞和 512 个特征的大型数据集进行高效超参数调优的建议。该数据集不平衡,用户希望实现上下文老虎机来增强训练,但即使进行了子采样,标准的超参数调优方法也过于耗时。他们正在探索 Optuna 的替代方案,并寻找相关文献或类似经验来解决这一瓶颈。
-
OTCache框架使用最优传输加速扩散模型
研究人员推出OTCache,一个旨在通过预测最优缓存计划来加速扩散模型的新型框架。该方法利用最优传输(OT)原理来模拟在不同推理预算下缓存策略的演变,解决了现有基于图的方法的局限性。OTCache在FLUX.1、Qwen-Image和HunyuanVideo等模型上实现了3.66倍至4.7倍的显著加速,同时与当前最先进的方法相比,还提高了生成保真度。
-
机器学习框架预测进口隔离市场农业价格波动
研究人员开发了一个机器学习框架,用于预测进口隔离市场(特别是斯里兰卡)的农业价格波动。该研究利用了结合零售价和农户价与天气、燃料成本和汇率的综合数据集。一个结合了XGBoost和LightGBM并使用Optuna优化的集成模型,在恶性通货膨胀期间也表现出强大的预测准确性,表明供应链动态可以被有意义地预测。
-
Weights & Biases 通过广泛的框架集成简化了 ML 实验跟踪
Weights & Biases (W&B) 提供了一个全面的机器学习实验跟踪平台,用于记录指标、配置和工件。该平台与 PyTorch、TensorFlow 和 Hugging Face 等流行的 ML 框架集成,并提供用于运行可视化和比较的 Web 仪表板。W&B 旨在简化从训练到部署的 ML 开发生命周期。
-
llama-launcher v1.3 增加贝叶斯优化用于模型调优
llama-launcher 的开发者(一个用于创建 llama-server 命令的 GUI)发布了 1.3 版本。此次更新引入了一项新功能,该功能利用贝叶斯优化(特别是通过 optuna 框架的树状结构 Parzen 估计)来自动调整模型参数。使用 Gemma 12B MTP 模型进行的初步测试表明,在无需手动干预的情况下,速度最多可提高 15%。