PulseAugur
中
实时 19:27:27
实体 Compact Rollback MTP

Compact Rollback MTP

PulseAugur coverage of Compact Rollback MTP — every cluster mentioning Compact Rollback MTP across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_228062 ·

    llama.cpp MTP 针对低显存优化，加速 Qwen 模型推理

    llama.cpp 的多令牌预测 (MTP) 已被修改，以减少内存使用量，允许 Qwen 27B 等大型模型在显存有限（如 16GB）的系统上运行。这个新的“Compact Rollback MTP”功能允许用户指定模型在显存中保留多少回滚状态，从而以更低的上下文成本实现更高的令牌生成限制。该修改还包括自适应推测解码，它根据最近的草稿接受情况动态调整 MTP 草稿限制，进一步优化性能。