Human Review Queues

AI 人工审核队列通过预期价值路由进行扩展

本文提出了一种通过基于预期价值而非二元审核/不审核方法来路由项目，从而扩展 AI 系统中人工审核队列的策略。它建议结合三个信号：对 AI 预测的置信度、错误决策的风险以及错误的纠正性。这允许采取更细致的方法，例如自动批准高置信度、低风险的项目，并仅对高风险但高置信度且可纠正的项目进行事后抽样审核。作者强调，抽样事后审核路线对于通过为未预先审核的项目提供证据来维护系统完整性至关重要。