一位经营PLI Labs的律师发布了DeepSeek-V4.1-Flash模型的性能基准测试,该测试使用了复杂的硬件设置。该配置包括两台DGX Spark服务器用于模型,以及一台带有两块3090 GPU的独立机器用于推测性起草和Engram表卸载。该设置在256K上下文上实现了超过2,600 tokens/s的预填充速度,以及322 tokens/s的结构化输出速度,完整的堆栈代码和原始数据已公开提供。 AI
影响 为特定模型和硬件配置提供了详细的性能数据,有助于优化推理的运营商。
排序理由 发布了开源模型的性能基准测试和技术细节。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →