Reddit 的 r/MachineLearning 子版块上一位用户正在寻求有关使用 vLLM 和贪婪解码的云端推理平台与本地部署之间性能基准测试结果差异的信息。该用户特别提到了 Together AI 作为云平台的例子，并正在寻找分析这些差异的证据、论坛或研究论文。 AI
影响 理解性能基准测试的差异对于优化 AI 模型部署和性能至关重要。
排序理由 用户查询寻求关于性能基准测试差异的信息，而非新发布或事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Does anyone know of any evidence/forum/paper analyzing benchmark result differences between cloud inference platforms (togetherai) and running models locally with vLLM under greedy decoding? </p> </div><!-- SC_ON -->   submitted by   <a h…