一位开发者已将多令牌预测（MTP）集成到Ornith 35B模型中，从而增强了其在Agentic编码任务中的性能。据报道，此项修改将推理速度提高了18%，并达到了70%的草稿接受率。该优化模型利用FP8 E4M3量化，设计用于运行在拥有超过80GB VRAM的硬件上，并支持256k上下文窗口，可能应用于统一内存系统。 AI
影响 对于拥有高端硬件的用户，Agentic编码任务的效率有潜在提升。
排序理由 开发者主导将新功能集成到现有开源模型中。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1ul3rr2/i_added_mtp_to_local_sota_agentic_coding_model/"> <img alt="I added MTP to local SoTA Agentic Coding Model Ornith 35B FP8 E4M3" src="https://external-preview.redd.it/357bFLl1YnO40h90lyieTGgrUlozMtIn4Et…