ElderBench

新的ElderBench基准测试评估老年人的AI代理

研究人员推出ElderBench，这是一个旨在评估旨在协助老年人使用智能手机的自主移动代理的新基准。现有的基准测试通常无法捕捉老年用户常见的细微和间接语言模式，导致当前代理的性能下降。ElderBench建立在老年人自然引发的249个智能手机任务之上，可以更真实地评估代理能力。研究结果突显了主流代理和视觉语言模型在处理老年人特定指令方面面临的重大挑战，为开发更具适应性和包容性的AI助手提供了见解。