一种新的概率多令牌预测 (MTP) 方法已合并到 llama.cpp 中,在散文生成方面可能提高 14%。此更新使该方法与贪婪采样保持一致,现在可供更新其 llama.cpp 安装的用户使用。 AI
影响 对 llama.cpp 的这项增强功能可能导致本地 LLM 部署生成更流畅、更连贯的文本。
排序理由 该集群描述了一种新方法(概率 MTP),该方法已合并到开源项目(llama.cpp)中,这是一项研究级别的开发。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →