实体 8GB

8GB

PulseAugur coverage of 8GB — every cluster mentioning 8GB across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

基础设施 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

COMMENTARY · CL_86311 · Jun 11 · 21:35

LLM用户分享在8GB-48GB显存上运行模型的经验

r/LocalLLaMA subreddit上的一个讨论，探讨了在具有不同显存容量的消费级硬件上运行大型语言模型（LLMs）的实际问题。用户正在分享他们在8GB到48GB显存的系统上运行模型的经验，详细说明了他们的硬件配置、KV缓存和上下文管理策略以及达到的性能。该帖子旨在整合用户经验，以了解本地LLM部署的当前状况。