研究人员开发了一个新的自回归基础模型框架，该框架可以处理多模态临床数据，包括心电图波形、胸部X光图像和临床笔记，以及结构化的电子健康记录（EHR）事件代码。该框架利用特定模态的潜在压缩和带门控的交叉注意力以及时间对齐来整合这些多样化的数据类型。在MIMIC-IV数据集上的实验表明，特定的潜在压缩配置比简单方法提高了性能，并且每种模态的预训练编码器的选择对下游结果有显著影响。然而，研究也表明，与仅使用EHR的模型相比，简单地添加辅助模态并不能自动保证在ICU死亡率预测等任务上获得更好的性能，这凸显了仔细设计融合架构和进行符合上下文的评估的必要性。 AI
影响 这项研究通过有效整合多样化的患者数据，有望开发出更全面、更准确的临床预测AI模型。
排序理由 这是一篇研究论文，详细介绍了一种用于医疗保健领域多模态基础模型的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
