Orcetra

AutoML 比较缺陷曝光：Orcetra 的性能虚高被揭露

一篇新论文指出了自动化机器学习（AutoML）系统在比较中存在的重大缺陷，尤其是在短时间预算下。研究表明，一个名为 Orcetra 的系统由于协议缺陷，包括在实际测试集上进行测试以及未能强制执行时间限制，而显得比 FLAML 和 AutoGluon 等竞争对手表现更好。当通过使用验证集和强制执行外部截止日期纠正这些问题后，Orcetra 的性能优势消失了，表明最初令人印象深刻的结果被方法论错误夸大了。