attention kernel type

vLLM 配置影响 LLM 的能耗、性能和准确性

一篇新的研究论文探讨了在为大型语言模型 (LLM) 配置 vLLM 等推理引擎时，能耗、性能和准确性之间的权衡。该研究分析了五种开源 LLM 和五种推理任务中，注意力核类型、前缀缓存和分块预填充的组合。结果表明，注意力类型和前缀缓存对能耗和性能有显著影响，其影响因模型和工作负载而异，而在默认配置下，分块预填充的影响有限。研究还发现，推理引擎的选择可能会意外地影响模型的准确性。