DeepSeek-V3/R1

AirLLM 通过逐层推理在低显存 GPU 上实现大规模 LLM

一个名为 AirLLM 的新开源项目已发布，它使得大型语言模型能够在消费级 GPU 上运行，同时显著降低显存需求。通过采用逐层推理技术，AirLLM 只将当前正在执行的 Transformer 层加载到显存中，从而大大减少了内存需求。这使得像 70B 参数模型可以在 4GB 显存上运行，405B 模型可以在 8GB 上运行，甚至 2.8 万亿参数的 Kimi K3 只需要 3.7GB。