研究人员开发了PhysDox,一个旨在评估大型语言模型生成的生理传感协议的物理可行性的新基准。该基准包含一个精心策划的Gold集合(包含683个样本)和一个Silver集合(包含5000个样本),涵盖六个生物医学领域。对六个LLM的初步评估显示,最高阶段1宏F1分数仅为53.0,表明其审计协议有效性方面存在显著局限性。分析显示,模型经常将程序完整性与物理可行性混淆,隐式约束被遗漏的频率是显式硬件违规的两倍。 AI
影响 凸显了LLM在生物医学协议设计等复杂现实世界应用中推理能力的局限性。
排序理由 该集群描述了一篇介绍LLM评估基准的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →