一位用户在 r/LocalLLaMA 上分享了一个双 M5U 集群的性能数据,详细介绍了设置挑战以及 General Language Model (GLM) 和 Qwen 模型的基准测试结果。该用户并非程序员,由于训练数据不足,他依赖 Deepseek 进行设置协助。虽然 GLM 5.3 实现了 4.9k 的预填充速度和 100 token/秒的解码速度,但用户觉得太慢,于是选择了 Qwen Flash Next,后者报告了 8k 的预填充和 200 token/秒的解码速度。 AI
影响 为考虑类似硬件设置进行本地 LLM 部署的用户提供了真实的性能见解。
排序理由 用户生成的特定硬件和模型的性能数据,并非官方发布或基准测试。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →