实体 Gavin Li

Gavin Li

PulseAugur coverage of Gavin Li — every cluster mentioning Gavin Li across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_235173 · Sep 4 · 02:49

AirLLM 通过层流式传输技术，让70B模型能在4GB GPU上运行

一个名为AirLLM的新开源项目，使用户能够在内存仅为4GB的消费级GPU上运行参数高达700亿的大型语言模型。这是通过将模型的各个层流式传输到GPU进行计算来实现的，而不是要求整个模型都装入内存。这种方法允许在不进行量化或蒸馏的情况下进行全精度推理，从而使强大的模型能够在标准硬件上进行本地研究和私有数据处理。