作者调查了旨在加速大型语言模型推理的投机性解码技术为何在 Apple Silicon 上未能实现预期的性能提升。最初的假设集中在 MPS 分派开销和草稿模型的大小上，但两者都被证明只是部分解释或不正确。调查显示，理论上的加速计算并未考虑到实际的硬件成本，并且接受率比预期更具可变性和内容依赖性。作者还注意到实测加速超过理论极限的情况，这表明硬件成本的建模方式存在更深层次的问题。 AI
影响 调查大型语言模型推理的性能瓶颈，可能导致更高效的模型部署。
排序理由 关于优化大型语言模型推理性能的技术深度分析。[lever_c_demoted from research: ic=1 ai=1.0]
- Apple Silicon
- Leviathan et al.
- Qwen2.5-0.5B-Instruct
- Qwen2.5-1.5B
- Qwen2.5 3B Instruct
- speculative decoding
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
