TACT-KV

新的TACT-KV方法将3D医学VLM缓存压缩，批处理大小提升8倍

研究人员开发了TACT-KV，一种用于压缩处理3D医学成像数据的视觉语言模型（VLM）中键值（KV）缓存的新颖方法。与仅考虑1D或2D变换的先前方法不同，TACT-KV利用CT和MRI扫描等体积数据固有的三轴空间结构。通过应用可分离的3D离散余弦变换，TACT-KV集中了缓存的能量，从而实现了更有效的比特分配和量化。这种方法显著减少了内存使用，在单个GPU上可将解码批处理大小提高高达8倍，同时在各种医学和通用VLM中保持高精度。