Abrarqasim

AirLLM 通过从磁盘流式传输层，实现 4GB GPU 上的 70B 模型推理

AirLLM 是一个新项目，它能够在外存（VRAM）非常有限的硬件上运行大型语言模型，例如 70B 参数模型。它通过按需从磁盘顺序加载模型层到 GPU 来实现这一目标，而不是要求整个模型同时装入外存。虽然这大大降低了推理的硬件门槛，但代价是速度显著降低，据报道推理时间比量化本地模型或基于 API 的解决方案慢几个数量级。该项目最适合不需要优先考虑速度的批处理作业或评估，并且由于持续的数据流，它还可能对消费级 SSD 造成显著磨损。