optuna
PulseAugur coverage of optuna — every cluster mentioning optuna across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
六种提示优化框架的有效性对比
最近的一项分析比较了六种提示优化框架：DSPy、GEPA、TextGrad、agent-opt、Arize Prompt Learning 和 MLflow 的优化器。研究发现，这些框架不能互换使用，因为它们代表了从完整编程模型到单一算法和平台功能的各种不同方法。有效性的关键区别在于能否针对用户自己的数据集上的特定指标进行优化，而易于更换搜索算法是一个重要因素。
-
发布新的 SpotOptim Python 包用于黑盒函数优化
SpotOptim Python 包已发布，为优化昂贵的黑盒函数提供了一个框架。它采用基于 Kriging 的方法和预期改进（Expected Improvement），支持各种变量类型、带噪声的评估和多目标优化。该包包含诸如基于成功率的重启机制以防止停滞等功能，并与 scikit-learn 兼容的代理模型集成。SpotOptim 还提供 TensorBoard 日志记录以进行实时监控，并与其他几个流行的优化工具进行了比较。
-
新框架在量子退火器上自动调优 SVM
本文介绍了一种新颖的框架，用于优化在量子启发式退火器上使用二次无约束二元优化 (QUBO) 模型的支持向量机 (SVM)。该框架采用 Optuna 进行自动调优，处理与数值表示、核几何和约束惩罚相关的参数。该方法在 Fixstars Amplify 退火引擎、Toshiba SQBM+ 和 Fujitsu Digital Annealer 上进行了测试，在具有不同标签噪声水平的分类任务上，与传统的网格搜索相比，平均准确率提高了 0.8…
-
机器学习模型在电力需求预测方面进行基准测试
一项新的基准研究评估了十种机器学习模型在新英格兰地区的短期电力需求预测能力，利用了天气、日历和 COVID-19 数据。研究发现，梯度提升树模型（特别是 CatBoost 和 XGBoost）的表现优于 LSTMs 和 Transformers 等独立的神经网络架构。分析表明，历史需求数据是最重要的预测因子，而 COVID-19 指标的纳入显示出时间有效性衰减的迹象。
-
使用 Ray、Optuna 和 MLflow 构建的用于分布式超参数调优的 MLOps 平台
本文详细介绍了分布式超参数优化平台的构建过程。作者概述了他们如何集成 Ray、Optuna 和 MLflow 来创建一个能够并行模型调优的系统。该平台设计为具有弹性，能够处理工作节点崩溃，并确保模型仅在满足特定性能标准时才被提升。
-
用户寻求对大型细胞分类数据集进行高效超参数调优
r/MachineLearning 上的一位用户正在寻求关于如何对包含 430 万个细胞和 512 个特征的大型数据集进行高效超参数调优的建议。该数据集不平衡，用户希望实现上下文老虎机来增强训练，但即使进行了子采样，标准的超参数调优方法也过于耗时。他们正在探索 Optuna 的替代方案，并寻找相关文献或类似经验来解决这一瓶颈。
-
OTCache框架使用最优传输加速扩散模型
研究人员推出OTCache，一个旨在通过预测最优缓存计划来加速扩散模型的新型框架。该方法利用最优传输（OT）原理来模拟在不同推理预算下缓存策略的演变，解决了现有基于图的方法的局限性。OTCache在FLUX.1、Qwen-Image和HunyuanVideo等模型上实现了3.66倍至4.7倍的显著加速，同时与当前最先进的方法相比，还提高了生成保真度。
-
机器学习框架预测进口隔离市场农业价格波动
研究人员开发了一个机器学习框架，用于预测进口隔离市场（特别是斯里兰卡）的农业价格波动。该研究利用了结合零售价和农户价与天气、燃料成本和汇率的综合数据集。一个结合了XGBoost和LightGBM并使用Optuna优化的集成模型，在恶性通货膨胀期间也表现出强大的预测准确性，表明供应链动态可以被有意义地预测。
-
Weights & Biases 通过广泛的框架集成简化了 ML 实验跟踪
Weights & Biases (W&B) 提供了一个全面的机器学习实验跟踪平台，用于记录指标、配置和工件。该平台与 PyTorch、TensorFlow 和 Hugging Face 等流行的 ML 框架集成，并提供用于运行可视化和比较的 Web 仪表板。W&B 旨在简化从训练到部署的 ML 开发生命周期。
-
llama-launcher v1.3 增加贝叶斯优化用于模型调优
llama-launcher 的开发者（一个用于创建 llama-server 命令的 GUI）发布了 1.3 版本。此次更新引入了一项新功能，该功能利用贝叶斯优化（特别是通过 optuna 框架的树状结构 Parzen 估计）来自动调整模型参数。使用 Gemma 12B MTP 模型进行的初步测试表明，在无需手动干预的情况下，速度最多可提高 15%。
-
超参数搜索为推测性解码带来微小收益
Reddit的r/LocalLLaMA子版块的一位用户分享了他们对推测性解码进行超参数调整的经验，特别是在Strix Halo平台上使用Qwen3.6 27B模型和“draft-mtp”方法。尽管使用Optuna进行了广泛搜索，但用户发现与默认参数相比，每秒令牌数仅提高了6%。他们提供了实验中使用的Python脚本和最优命令行参数。
-
Optuna c-TPE 泛化为联合密度估计器
一篇新论文介绍了 Optuna 约束树状 Parzen 估计器 (c-TPE) 作为标准 c-TPE 算法的联合密度泛化。这种称为联合 c-TPE 的方法利用了目标和约束的单一联合似然，与假设独立的模型相比具有优势。研究强调，与可能因冗余而性能下降的独立 c-TPE 不同，联合 c-TPE 对约束重复是不变的，并讨论了实际的权衡和未来的研究方向。
-
新框架改进了机器学习的轨迹数据增强
研究人员开发了一个系统化的框架，以改进机器学习的轨迹数据增强。该研究评估了五种选择策略——离群度、多样性、代表性、不确定性和随机选择——在各种数据集上的表现，包括动物行为、海事和城市交通。结果表明，系统化策略，特别是离群度和不确定性，相比随机选择具有优势，尤其是在稀疏数据集上，尽管它们的有效性是有条件的，并且在密集数据集上可能降低性能。
-
SNAC-Pack 自动化 FPGA 的神经架构搜索
研究人员开发了 SNAC-Pack，这是一个开源框架，旨在自动化专门用于 FPGA 的神经架构搜索 (NAS) 过程。该软件包通过考虑简单的准确性或代理指标之外的多维硬件预算，解决了现有 NAS 方法的局限性。SNAC-Pack 采用多目标全局搜索和硬件代理模型来估算资源利用率和延迟，从而显著减少了 FPGA 部署所需的时间和精力。
-
新方法优化随机森林树的数量
研究人员开发了一种优化随机森林模型中树数量的新方法，解决了超参数调优中的一个常见挑战。他们的方法使用一种基于三元组的平台搜索算法，通过监测袋外分数（out-of-bag score）的变化来适应性地识别出接近最小的足够集成大小。与传统技术相比，该方法旨在提供更自动化和可解释的程序，实验表明，在基准数据集上，它选择的树数量可能少于常用启发式方法，但在某些高维生物信息学数据集上则更多。
-
AI模型在阿尔茨海默病早期检测方面展现出潜力
研究人员正在开发利用各种数据源进行阿尔茨海默病早期检测的先进AI模型。一项研究提出了一种多语言方法，在语音数据上使用Transformer模型，在英语、中文、阿拉伯语和印地语上达到了82%的F1分数，并具有实时筛查的潜力。另一篇论文利用来自ADNI数据集的临床生物标志物的可解释XGBoost分类器，达到了0.983的宏观AUC，并识别了关键的预测特征。此外，第三项研究探讨了大型语言模型（LLMs）从文本中检测AD的能力，经过微调的BE…
-
论文分析树状结构 Parzen 估计器以改进参数调优
本文深入探讨了树状结构 Parzen 估计器 (TPE)，这是一种流行的贝叶斯优化方法，用于 Hyperopt 和 Optuna 等参数调优框架。作者旨在阐明 TPE 的各种控制参数的作用及其对调优性能的影响。通过对各种基准数据集进行消融研究，他们确定了能增强 TPE 实际效果的最佳设置，并提供了其实现供使用。
-
Thaka系统通过微调CATT-Whisper赢得阿拉伯语语音注字任务
研究人员开发了一个在KSAA-2026阿拉伯语语音听写与自动注字共享任务中获胜的系统。该系统名为Thaka，使用2327个样本的有限数据集对CATT-Whisper多模态模型进行了微调。其成功的关键在于训练正则化技术，包括R-Drop一致性正则化、优化的超参数和Focal Loss，以及在推理过程中平均来自四个模型检查点的200次随机前向传播。这种方法实现了23.26%的词错误率（WER），在参赛者中获得第一名。
-
AI代理通过新的编码工具和推理能力取得进展
几篇近期博文探讨了AI代理的进展和应用，特别是在编码和推理任务方面。主题包括构建能够打开GitHub拉取请求的自主编码代理，使用Continual Harness等模式来构建自我改进的代理，以及将Cursor等工具集成到代理工作流中。还讨论了LLM在因果推理中的推理局限性以及用于网络抓取的浏览器指纹识别的新方法，同时也在努力为机器学习模型自动化超参数调优。
-
新型SNAC-Pack为FPGA自动化神经架构协同设计
研究人员开发了SNAC-Pack，这是一个开源框架，旨在自动化神经架构的协同设计及其在FPGA上的部署。该软件包采用多目标全局搜索策略，并结合硬件代理模型来估算资源使用和延迟，从而在搜索过程中避免昂贵的综合。SNAC-Pack已被证明在发现用于大型强子对撞机中的喷流分类和超导量子比特读出等任务的紧凑型架构方面非常有效，显著缩短了设计探索时间，同时保持或提高了性能。