一位用户在使用 Strix Halo 设备上的各种引擎和量化方法对 Qwen3.8-Flash-Next 模型进行了基准测试。比较侧重于效率,特别是 Swift 1.5 微调,该微调声称在精度损失最小的情况下减少了 token 使用量。结果表明,使用 Swift 1.5 量化的 Gufo 引擎在整体时间和编码任务上的表现最好,尽管其他配置在不同领域也显示出优势。 AI
影响 为本地 LLM 部署提供了不同模型量化和推理引擎组合的实际性能和效率方面的见解。
排序理由 用户生成的基准测试,比较模型性能和效率。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →