PulseAugur
中
实时 15:07:51
English(EN) Attention to Detail: Evaluating Energy, Performance, and Accuracy Trade-offs Across vLLM Configurations

vLLM 配置影响 LLM 的能耗、性能和准确性

作者 PulseAugur 编辑部 · [2 个来源] ·

一篇新的研究论文探讨了在为大型语言模型 (LLM) 配置 vLLM 等推理引擎时，能耗、性能和准确性之间的权衡。该研究分析了五种开源 LLM 和五种推理任务中，注意力核类型、前缀缓存和分块预填充的组合。结果表明，注意力类型和前缀缓存对能耗和性能有显著影响，其影响因模型和工作负载而异，而在默认配置下，分块预填充的影响有限。研究还发现，推理引擎的选择可能会意外地影响模型的准确性。 AI

影响 对 vLLM 等推理引擎进行配置调整，可以在不牺牲准确性的前提下，优化 LLM 的部署以提高能效和性能。

排序理由 分析 LLM 推理引擎配置权衡的研究论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

vLLM 配置影响 LLM 的能耗、性能和准确性

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Nada Zine, Tristan Coignion, Vincenzo Stoico, Cl\'ement Quinton, Romain Rouvoy, Patricia Lago ·

    注重细节：评估 vLLM 配置在能耗、性能和准确性之间的权衡

    arXiv:2607.09172v1 Announce Type: cross Abstract: Large Language Models are reshaping how software is developed and maintained. They are typically deployed in production using inference engines such as vLLM, which can efficiently serve pre-trained, highly configurable models. Whi…

  2. arXiv cs.AI TIER_1 English(EN) · Patricia Lago ·

    注重细节：评估 vLLM 配置在能耗、性能和准确性之间的权衡

    Large Language Models are reshaping how software is developed and maintained. They are typically deployed in production using inference engines such as vLLM, which can efficiently serve pre-trained, highly configurable models. While prior work has focused on model architectures a…

相关实体

相关话题