新的Brain-Adapter框架利用VLM和LLM增强3D CT扫描诊断

研究人员开发了Brain-Adapter，一个新颖的双流多实例学习（MIL）框架，用于3D脑部CT扫描的自动诊断。该框架通过引入一个使用诊断句子作为语义查询的文本条件注意力机制，有效地将预训练的2D视觉语言模型（VLM）的能力转移到3D体积数据上。一个并行的视觉MIL流捕获全局扫描特征，两个流都由通过大型语言模型（LLM）提取的标签进行监督。该系统包含一个不确定性感知细化模块来校准和融合预测，通过减少对密集手动注释的需求，显著优于现有的3D模型和标准MIL方法。 AI

影响 该框架为分析3D CT扫描提供了一个可扩展且临床可行的解决方案，有可能提高危重症监护环境下的诊断速度和准确性。

排序理由 该集群包含一篇详细介绍医学图像分析新框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• 3D CT scans
• Brain-Adapter
• Large Language Model (LLM)
• multiple instance learning (MIL)
• vision-language models (VLMs)

• 论文
• 模型发布
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →