实体
host RAM
host RAM
PulseAugur coverage of host RAM — every cluster mentioning host RAM across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
763B MoE 模型通过专家卸载在双 96GB GPU 上运行
一份技术指南详细介绍了如何在消费级硬件上运行 7630 亿参数的 DeepSeek-V4.1-Flash 模型,具体来说是两块拥有 96GB 显存的 Nvidia RTX PRO 6000 Blackwell GPU。该解决方案涉及将混合专家(MoE)架构的闲置“专家”卸载到服务器的主机 RAM 中,这项技术成功地将每 GPU 的显存需求从 100GB 以上降低到 73GB 以下。通过 ExLlamaV3 和 vLLM 的自定义堆栈实…
-
FreeToken 引擎可在个人 PC 上运行大型 MoE 模型
FreeToken 是一个开源引擎,旨在通过将整个 PC 作为异构推理系统来在个人硬件上运行大型混合专家(MoE)模型。它通过将完整的专家池存储在 CPU 主机 RAM 中,同时将非专家权重和共享专家缓存保留在 GPU 中来管理 MoE 模型。该系统动态测量主机内存和 PCIe 带宽,以优化 CPU 和 GPU 之间的专家执行,并采用双缓冲来隐藏预填充期间的传输延迟。此外,FreeToken 还为代理工作负载提供语义感知缓存,允许它在…