MedCTA

新的MedCTA基准测试评估临床AI代理的工具使用能力

研究人员推出了MedCTA，一个旨在评估AI代理在临床环境中能力的新的基准测试。该基准测试侧重于需要规划、工具检索和证据获取的任务，超越了简单的识别或单轮问答。MedCTA包含107个真实世界的临床任务，涵盖了五个已部署工具的临床医生验证轨迹，评估了工具选择、执行稳定性和结果质量等方面。对18个模型的初步基准测试显示，即使是先进的系统在多步临床工具使用方面也存在困难，表现出协议失败和错误工具调用的问题。