feedback contract

新的反馈合同改进了机器学习代理模型开发

研究人员开发了一种新的迭代式机器学习代理显式反馈合同，以改进其模型开发过程。该合同规定了代理可以观察的内容、何时停止迭代以及何时可以访问测试集。通过仅在提交通过噪声阈值后才发布验证分数，该合同旨在防止代理自适应地选择验证集并过度优化。实验表明，这种方法减小了验证集-测试集之间的差距，略微提高了测试性能，并显著减少了代理所需的提交次数，从而防止它们在无界反馈通道中追逐噪声。