一位用户对 DeepSeek V4.1 Flash 1017 EXL3 2.9bpw 模型进行了基准测试,发现其性能与六个月前的最先进模型相当。使用 APEX 2025 数据集作为基准,用户在配备六个 3090 GPU 的系统上实现了约 1000 tokens/秒的预填充速度和 75 tokens/秒的解码速度。用户分享这些结果是为了帮助他人对自己的设置进行基准测试。 AI
影响 为特定的模型量化提供了性能见解,帮助用户评估其能力。
排序理由 特定模型变体的用户生成基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →