DDXPlus
PulseAugur coverage of DDXPlus — every cluster mentioning DDXPlus across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
临床大语言模型在证据收集能力方面接受评估
一篇新发表在arXiv上的研究论文介绍了一个用于临床大语言模型（LLMs）的“DECIDE/ASK/DEFER”框架，以更好地处理不完整证据。这种方法超越了简单的“DECIDE/ABSTAIN”表述，明确评估了信息获取的必要性。在使用Qwen、Gemini和GPT对200个临床场景进行测试时，模型在行动选择上表现出显著差异，在137个状态下存在分歧。研究发现，Qwen选择的信息比诊断正确性对后续决策的影响更明显，并观察到安全性和自主性之间的权衡。
-
新的贝叶斯方法改进了多代理AI的决策能力
研究人员开发了一种使用贝叶斯逆向推理的多代理集体决策新方法。该方法旨在通过分析跨路径一致性来提高多个AI代理产生冲突答案时的性能。提出的策略，包括MinJS、FwdJS和LogLin，利用Jensen-Shannon散度对代理进行排名，并在各种LLM骨干的DDXPlus基准测试中显示出一致的改进。
-
新的MTDiag数据集评估LLM在多轮临床诊断中的表现
研究人员开发了MTDiag，这是一个新的多轮诊断对话数据集，旨在更好地评估大型语言模型（LLM）在临床环境中的表现。与静态基准测试不同，MTDiag通过从DDXPlus、MIMIC-IV和AJCR病例报告中提取数据，模拟了医疗诊断的交互式和渐进式性质。该数据集使用UMLS和ICD-10等医学知识库进行标准化，并包含一个用于生成自然语言语句的管道。该计划旨在评估LLM作为诊断代理的能力，超越简单的准确性，引入临床基础的指标来评估多轮鉴别诊断。
-
新的审计方法评估医疗大语言模型证据使用，超越准确性
研究人员开发了一种新的方法来审计大语言模型（LLMs）在医疗诊断中的证据使用模式。这种方法超越了简单的准确性评估，将患者信息分解为证据单元，并根据受控证据子集对诊断进行评分。该研究在 DDXPlus、CupCase 和 MedCase 等数据集上评估了五个开源大语言模型，发现大多数证据交互是临床上合理的，而非诊断失败。审计发现，无效或捷径式案例通常涉及否定或缺失的发现，这凸显了在医疗大语言模型评估中进行角色感知审计的必要性。