研究人员开发了MedCUA-Bench，这是一个旨在评估计算机使用代理在临床环境中性能的新基准测试。该基准测试侧重于与医疗软件的仅限屏幕截图交互，解决了现有工具未能充分代表医疗保健应用程序独特界面和安全要求的局限性。MedCUA-Bench包含跨越10个医学领域的18个临床场景，这些场景根据真实材料重建，以确保真实性，同时尊重隐私和许可。初步评估显示，即使是表现最好的闭源模型也面临困难，仅达到54.2%的严格成功率，而开源模型的表现则明显更差，这凸显了当前代理在可靠使用临床软件方面的能力存在巨大差距。 AI
影响 强调了AI代理在实际临床应用中面临的重大挑战，表明需要专门的开发和评估。
排序理由 该集群包含一篇研究论文，介绍了一个用于评估特定领域AI代理的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →