研究人员开发了一个新框架,用于评估通用多模态大语言模型(MLLMs)对复杂手术场景的理解能力。该框架包括 SurgKnowBench,一个诊断性基准,整合了公开的手术数据集来测试现有的 MLLMs,揭示了它们在程序理解方面的局限性。此外,SurgAgentGym,一个智能体环境,允许 MLLM 智能体使用 SurgWiki 等工具进行证据收集,表明这种方法可以提高在感知密集型任务上的表现,但在细粒度定位和专家级评估方面仍有困难。 AI
影响 这项研究有望通过提高人工智能对复杂医疗程序的理解能力,为人工智能系统在外科手术培训和分析中的应用铺平道路。
排序理由 学术论文,在特定领域引入用于人工智能的新基准和评估框架。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Gengyuan Zhang
- Hugging Face
- multimodal large language models
- SurgAgentGym
- SurgKnowBench
- SurgWiki
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →