HelpMeOut

新基准“HelpMeOut”测试 AI 在家务任务中的错误检测能力

研究人员推出了 HelpMeOut，这是一个旨在评估 AI 监控家务任务执行能力的新基准，特别关注错误检测。与假设任务正确完成的现有基准不同，HelpMeOut 包含 20,000 个活动片段，涵盖九类受神经心理学启发的错误。使用 LLM 提示和其他基线方法进行的初步评估显示，在识别这些错误方面表现不佳，表明需要更先进的辅助代理。