新基准揭示LLM在真实医疗计算中的局限性

一个新的基准MedMCP-Calc已被开发出来，用于评估大型语言模型（LLM）在真实医疗计算器场景中的表现。该基准集成了模型上下文协议（MCP），包含四个临床领域的118个任务，模拟了如EHR数据采集和多步计算等真实世界的自适应过程。评估显示，即使是Claude Opus 4.5等先进模型在选择合适的计算器、执行基于SQL的数据库交互以及利用外部工具进行数值任务方面也存在困难。为了解决这些局限性，开发了经过微调的模型CalcMate，并在开源模型中展示了最先进的性能。 AI

影响 突出了LLM在复杂、真实临床应用能力方面的关键差距，推动了专用模型的开发。

排序理由 该集群描述了在arXiv上发布的新基准和研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• CalcMate
• Claude Opus 4.5
• Hugging Face
• MedMCP-Calc
• Model Context Protocol (MCP)
• SQL
• Yakun Zhu

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →