两篇新研究论文探讨了大型语言模型（LLMs）推理优化技术的权衡，重点关注成本、质量和延迟。第一篇论文《推理工程帕累托图集》（The Inference Engineering Pareto Atlas）分析了Qwen2.5-7B-Instruct在不同GPU上的各种配置，发现组合优化方法比单独使用更有效。该论文强调，FP8权重在准确性和延迟之间提供了良好的平衡，而朴素的FP8 KV缓存则是有害的。第二篇论文《衡量推理优化如何影响输出质量的校准工具》（A Calibrated Instrument for Measuring How Inference Optimizations Affect Output Quality）提出了一种严谨的方法，使用LLM裁判来比较不同模型（包括来自Alibaba和Meta的模型）的优化技术。该研究表明，感知的质量高度依赖于领域，一些优化技术（如4位量化）在散文上的影响很小，但在数学任务上却会显著降低质量。 AI
影响 这些研究为优化LLM部署提供了关键见解，在不同硬件和模型类型上平衡了性能提升与潜在的质量下降。
排序理由 两篇发表在arXiv上的学术论文，详细介绍了LLM推理优化的方法和发现。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
