实体
AirLLM
AirLLM
PulseAugur coverage of AirLLM — every cluster mentioning AirLLM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
现在可以在消费级笔记本电脑和 PC 上运行巨大的 AI 模型
新的发展使得在消费级硬件上运行大型 AI 模型成为可能，显著降低了本地 AI 开发的门槛。AirLLM 等项目能够让参数量为 700 亿的模型在仅需 4GB VRAM 的 GPU 上运行，而 Colibri 则允许参数量为 7440 亿的模型通过从磁盘流式传输专家来在拥有 25GB RAM 的笔记本电脑上运行。这些进展，以及 wigolo 用于本地网络研究和 code-review-graph 用于上下文管理的工具，使开发人员能够拥有…
-
AirLLM 使 70B LLM 运行在 4GB 显存上；DPO 增强开源模型
AirLLM 取得了重大突破，使得 700 亿参数的大型语言模型（LLM）能够仅用 4GB 显存的单 GPU 运行，这在以前是需要更多内存才能实现的壮举。这一发展使得强大的开源模型能够为本地使用提供更广泛的访问。此外，文章强调了直接偏好优化（DPO）作为一种通用且高效的方法，可用于标准聊天机器人应用之外的模型微调，并介绍了 Supermemory 作为 AI 应用的可扩展内存引擎。
-
新方法赋能低规格硬件运行大型语言模型，Perplexity 引入混合推理
一种名为 AirLLM 的新技术通过分层推理，使得在 4GB GPU 上运行 700 亿参数的大型语言模型成为可能。该方法按顺序加载和计算模型层，而不是一次性加载整个模型。此外，Perplexity AI 正在为其 Perplexity Computer 推出混合智能体推理功能，允许在本地和云资源之间分配任务。