PathSelect框架为视觉-语言模型实现高效的WSI处理

研究人员开发了PathSelect，一个用于高效处理包含数吉像素的整个切片图像（WSIs）与视觉-语言模型的新型框架。该方法将标记剪枝重新构建为序列选择过程，使模型能够自主学习最优路由策略，而不是依赖于静态启发式方法。PathSelect作为主动插件集成到SlideChat基础模型中，冻结幻灯片编码器和大型语言模型，同时引入可微分的Soft Top-K算子和对角线注意力去噪器来管理训练过程中的梯度。在推理时，PathSelect被分离，使用确定性的Hard Top-K算子进行自适应轨迹终止，从而实现显著的标记减少和低延迟。 AI

影响 这种方法显著减少了处理大型医学图像的计算瓶颈，可能加速诊断AI的发展。

排序理由 详细介绍计算图像处理新计算框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• Hard Top-K
• Hugging Face
• PathSelect
• SlideBench
• SlideChat
• Soft Top-K
• The Cancer Genome Atlas
• vision-language models

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →