一篇新论文指出了自动化机器学习（AutoML）系统在比较中存在的重大缺陷，尤其是在短时间预算下。研究表明，一个名为 Orcetra 的系统由于协议缺陷，包括在实际测试集上进行测试以及未能强制执行时间限制，而显得比 FLAML 和 AutoGluon 等竞争对手表现更好。当通过使用验证集和强制执行外部截止日期纠正这些问题后，Orcetra 的性能优势消失了，表明最初令人印象深刻的结果被方法论错误夸大了。 AI
影响 强调了评估 AutoML 系统中的关键问题，可能导致更严格的基准测试标准。
排序理由 该集群包含一篇学术论文，详细介绍了 AutoML 系统比较中的方法论缺陷。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
