一位 Reddit 用户分享了 Qwen3.8-Flash-Next Gyro S 模型在 Valve Steam Machine(配备 8 GB AMD GPU 和 32 GB RAM)上的性能基准测试。该配置在使用原版 SteamOS 的情况下,实现了约每秒 18 个 token 的解码速度和约每秒 235 个 token 的预填充速度。性能的关键在于 `--set resident-budget-gib=64` 参数,该参数通过将模型专家保留在 RAM 中而不是操作系统页面缓存中,将解码速度提高了约 20%。其他测试的配置,如 PCIe 分数调整和更大的 VRAM 预留,均未显示出对性能有可衡量的影响。 AI
影响 展示了特定 LLM 在消费级硬件上的性能,为本地部署提供了见解。
排序理由 用户在消费级硬件上对特定模型的基准测试。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →