实体 AirLLM

AirLLM

PulseAugur coverage of AirLLM — every cluster mentioning AirLLM across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_68076 · Jun 3 · 04:01

新方法赋能低规格硬件运行大型语言模型，Perplexity 引入混合推理

一种名为 AirLLM 的新技术通过分层推理，使得在 4GB GPU 上运行 700 亿参数的大型语言模型成为可能。该方法按顺序加载和计算模型层，而不是一次性加载整个模型。此外，Perplexity AI 正在为其 Perplexity Computer 推出混合智能体推理功能，允许在本地和云资源之间分配任务。