4080

2026年，GTX 1080 Ti等老旧GPU可运行12B大语言模型

一项最新分析表明，到2026年，老旧GPU（特别是11GB显存的GTX 1080 Ti）仍能有效运行大语言模型。通过在Ollama中使用量化感知训练和闪电注意力（flash-attention）等技术，高达120亿参数的模型可以达到约每秒30个token的可用速度，并完全载入GPU显存。虽然更大模型或需要CPU分载的模型速度会显著下降，但这表明即使是预算有限、使用老旧硬件的用户也能参与本地大语言模型推理。