arXiv:2606.24031

MiniCPM-V 4.6 多模态助手可在 2011 年 GPU 上运行

研究人员已成功将 MiniCPM-V 4.6 多模态助手部署到一台拥有 6GB 内存的 2011 年 NVIDIA Tesla C2075 GPU 上。这包括创建一个针对旧版 Fermi 架构优化的全 GPU 推理引擎，其中包含循环层的分块增量规则重写以及将视觉组件移植到 CUDA。该研究还强调了在朴素注意力内核中处理长上下文时存在的性能瓶颈，通过使用供应商 GEMM 调用来解决这些瓶颈，从而保持平坦的性能剖面并实现高效处理。