LLM 用户寻求关于升级到 40B+ 参数模型以提高速度和知识的建议

r/LocalLLaMA subreddit 上的一位用户正在寻求关于拥有超过 400 亿参数的大型语言模型 (LLM) 的推荐。他们目前使用的是 Qwen3.6 35B，但发现它缺乏通用知识，更像一个执行者而不是助手。用户正在考虑升级到 Qwen3.5 122B，但担心速度问题，因为他们在 Strix Halo 硬件上使用 131k 上下文窗口时，目前能达到大约 30-40 tokens/秒。 AI

影响 用户讨论突出了本地 LLM 部署中模型大小、通用知识和推理速度之间的权衡。

排序理由 用户关于模型选择和性能的讨论。

在 r/LocalLLaMA 阅读 →

• Command R+
• Falcon 180B
• Grok-1
• llama
• Llama 3
• mistral.ai
• Mixtral 8x7B
• Qwen1.5-72B
• Qwen3.5 122B
• Qwen3.6 35B
• Strix Halo

• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →