一位用户使用四块 AMD R9700 GPU 构建了一个强大的多用户推理服务器,成本约为 16,000 加元。该系统配置了 EPYC 7402P CPU 和 128GB RAM,Qwen 3.8 FN 模型的初步基准测试显示出有希望的性能。具体来说,无论用户数量如何,服务器在预填充操作中可以处理大约 6,800 个 token/秒,并且代理跟进操作的处理速度为每个用户 80-225 个 token/秒,即使有多达 8 个用户各自管理 128K 的上下文。 AI
影响 展示了在消费级硬件上实现高并发、长上下文推理的潜力。
排序理由 用户构建的硬件配置和特定模型的基准测试结果。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →