实体
consumer GPUs
consumer GPUs
PulseAugur coverage of consumer GPUs — every cluster mentioning consumer GPUs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
开源 AI 工具支持在消费级 GPU 上进行本地推理
三款新的开源 AI 工具正在使先进的应用程序能够在消费级硬件上运行。NousResearch 发布了 Hermes Agent，这是一款专为本地执行和持续学习设计的自适应 AI 代理。PaddlePaddle 的 PaddleOCR 为本地 LLM 提供了轻量级、多模态的文档结构化数据转换解决方案。此外，一个名为 open-notebook 的开源项目提供了一个可自托管的、由 AI 驱动的笔记本，用于灵活的知识管理。
-
Qwen 3.6 模型通过 llama.cpp 在消费级 GPU 上达到 110 tokens/秒
开源模型 Qwen 3.6 的 350 亿参数版本，在拥有 12GB 显存的消费级 GPU 上实现了令人印象深刻的每秒 110 token 的推理速度。这一性能得益于 llama.cpp 的一个特殊变体（称为 ik_llama.cpp）以及特定的量化技术。此外，Qwen 3.6 的 270 亿参数版本也已成功通过 llama.cpp 的服务器配置在本地部署，为自托管 AI 应用提供了实际案例。