一位 Reddit 用户正在寻求关于在双 V100 GPU 上运行高量化级别(q6 和 q8)和超大上下文窗口(150-200k)的 Qwen3.8 27b 模型时的具体性能数据。他们正在将其与当前的 AMD MI60 进行比较,需要具体的处理能力(PP)和每秒令牌数(TPS)来证明升级的合理性。用户还对 V100 的 CUDA 支持即将停止以及性能提升是模型特定还是可迁移表示担忧。 AI
排序理由 用户生成内容,涉及特定硬件/模型配置,未对行业产生广泛影响。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →