Tesla K40c

llama.cpp分支提升旧款NVIDIA GPU性能

一位开发者创建了一个llama.cpp项目的分支，以提升旧款NVIDIA GPU的性能，特别针对Kepler架构和Ampere之前的型号。该分支引入了对CUDA Graphs和Windows NCCL集成的支持，旨在延长旧硬件的使用寿命。在Tesla K40c GPU上的初步测试显示，生成速度有显著提升，通过Windows NCCL集成可达60 tps。