Multiway Transformer

新的医学视觉语言模型在不损失性能的情况下扩展了专业知识 · 跟踪 2 个来源

研究人员开发了一种新颖的医学视觉语言技术，该技术使用可扩展的模态专家库，以多路 Transformer 为中心。该方法利用共享的视觉计算、专门的前馈专家和独立的文本路径。该系统在众多基准测试中取得了最先进的结果，在零样本分类、线性探测和检索任务方面表现出色，同时还展示了在不损害现有模态性能的情况下学习新模态的能力。