Slot2Text 为手术多模态大语言模型引入了高效的以物体为中心的视觉标记

研究人员开发了 Slot2Text，一种用于手术场景的多模态大语言模型（MLLMs）的新方法。该方法用一组更高效的“槽位潜在表示”（slot latents）取代了典型的密集视觉标记，这些槽位表示了视觉输入的编码区域。Slot2Text 提供两种模式：Slot2Text-Fast 用于快速问答，Slot2Text-Reason 用于更深入的分析，识别和定位用于推理的相关区域，并提供可追溯的空间证据。实验表明，与最先进的基线相比，Slot2Text-Fast 将平均标记使用量减少了 91.8%，将视觉前缀减少了 96.4%，显著降低了标记消耗。 AI

影响 这项研究可能为手术等复杂领域带来更高效、更具可解释性的 AI 模型。

排序理由 详细介绍多模态大语言模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• multimodal large language model
• ScienceCast
• Slot2Text
• Slot2Text-Fast
• Slot2Text-Reason

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →