r/LocalLLaMA 子版块的用户正在寻求解决方案，将 llama-bench 与 MTP 集成，因为适用于 llama-server 的标准方法似乎不起作用。核心问题似乎是兼容性，有人猜测 llama-bench 可能不支持投机解码。 AI
排序理由 Reddit 上的用户生成技术支持问题，并非新闻事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
LocalLLaMA 用户寻求将 MTP 集成到 llama-bench
报道来源 [1]
-
magic incantation to get llama-bench to work with MTP ?
<!-- SC_OFF --><div class="md"><p>It does not like anything I have tried, including what works with llama-server. is it not built to work with speculative decoding?</p> </div><!-- SC_ON -->   submitted by   <a href="https://www.reddit.com/user/jdchmiel"> /u/jdchmiel </a> …