研究人员开发了TACT-KV,一种用于压缩处理3D医学成像数据的视觉语言模型(VLM)中键值(KV)缓存的新颖方法。与仅考虑1D或2D变换的先前方法不同,TACT-KV利用CT和MRI扫描等体积数据固有的三轴空间结构。通过应用可分离的3D离散余弦变换,TACT-KV集中了缓存的能量,从而实现了更有效的比特分配和量化。这种方法显著减少了内存使用,在单个GPU上可将解码批处理大小提高高达8倍,同时在各种医学和通用VLM中保持高精度。 AI
影响 使得3D视觉语言模型能够处理更大的批处理大小和更高效的处理,尤其是在内存受限的环境中。
排序理由 详细介绍AI模型优化新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- computed tomography
- discrete cosine transform
- High Bandwidth Memory
- magnetic resonance imaging
- TACT-KV
- Vision--Language Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →