研究人员开发了一种新颖的上下文融合框架，旨在使冻结的通用视觉语言模型（VLM）专精于内窥镜息肉报告。该框架在不改变VLM预训练权重的情况下，集成了定量病灶大小测量、标准化Paris分类和形态学描述。通过学习到的专家令牌（token）引入隐式指令上下文，并通过检索到的图像-报告对引入显式转导上下文，该系统显著提高了VLM在专业任务上的性能。在超过2000张图像上的实验表明，这种轻量级方法仅增加了极少的训练参数，其性能优于通用VLM、特定任务预测器和权重适应方法。 AI
影响 该框架为将通用VLM应用于专业的医学影像任务提供了一种轻量级且有效的方法，有望提高诊断准确性和报告效率。
排序理由 该集群包含一篇学术论文，详细介绍了一种用于专业化视觉语言模型的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
- Context-Fusion Framework
- Paris classification
- self-supervised polyp encoder
- specialist tokens
- vision-language model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
