实体
system RAM
system RAM
PulseAugur coverage of system RAM — every cluster mentioning system RAM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的推测性解码方法使用 2 位 GPU 副本和系统 RAM 来运行 LLM
一位 Reddit 用户提出了一种新颖的推测性解码技术,用于运行超出 GPU VRAM 的大型语言模型。该方法涉及在 GPU 上保留模型的 2 位版本以起草 token,并将剩余的权重存储在系统 RAM 中。然后,CPU 内核会验证这些起草的 token,只有激活会通过 PCIe 传输。据报道,这种方法提供的质量与 8 位量化相当,同时显著降低了 VRAM 需求,并提高了与现有方法相比的起草接受率。
-
开源 Flyweight 引擎支持在单 GPU 上使用系统 RAM 运行大型 MoE 模型
Flyweight 是一个开源的 C++/CUDA 引擎,已在 PyPI 上发布,旨在通过利用系统 RAM 来运行超出单个 GPU VRAM 容量的混合专家(MoE)模型。该引擎支持 Qwen、DeepSeek-V4 和 Gemma 等多种模型,并提供 OpenAI/Anthropic 兼容 API 和聊天 UI 等功能。开发者正在寻找贡献者来扩展硬件支持,特别是 AMD 和 macOS 系统,并优化 CPU expert kernels。