实体
100,000
100,000
PulseAugur coverage of 100,000 — every cluster mentioning 100,000 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Qwen 3.8-27B 模型在 16GB GPU 上运行,支持 100K 上下文
Reddit 的 r/LocalLLaMA 社区的一位用户分享了一份详细指南,介绍如何在 16GB RX 7800 XT GPU 上运行具有 100,000 个 token 上下文窗口的 Qwen 3.8-27B 模型。该设置涉及编译支持 Vulkan 的 llama.cpp,并使用特定的命令行参数以获得最佳性能,包括使用 Q4 量化和 Q8/Q5 KV 缓存。本指南旨在展示在消费级硬件上运行大型上下文模型的可行性。
-
Qwen 3.8 27B 模型在 16GB GPU 上实现 100k-200k 上下文
用户已成功优化 Qwen 3.8 27B 模型,在消费级硬件上实现了显著更大的上下文窗口。一位用户通过使用 beellama.cpp 推理引擎和特定的 KV 缓存量化 (kvarn5/kvarn4) 在 16GB GPU 上实现了 100,000 token 的上下文窗口,生成速度为 47-50 tokens/秒。另一位用户报告称,在使用不同的量化方法 (UD-IQ3_XXS) 的类似 16GB 显存设置上,实现了超过 200,000…