实体 DominoTree

DominoTree

PulseAugur coverage of DominoTree — every cluster mentioning DominoTree across labs, papers, and developer communities, ranked by signal.

总计 · 30天

0

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_127431 · Jul 6 · 00:00

新的推测解码方法提高了 LLM 推理速度和效率 · 跟踪 6 个来源

研究人员推出了 DominoTree，一种新颖的推测解码方法，通过使用条件树状结构显著加速 LLM 推理。该方法在 Qwen3-4B 模型上实现了高达 6.6 倍的加速，并显示出比 DDTree 和 CaDDTree 等现有技术更高的吞吐量。同时，其他研究探索了宽松的推测解码，研究速度和能力之间的权衡，并引入了 AdaptiveSD 以在 CPU 限制下实现鲁棒的、运行时自适应的推理。DSpark 是另一个框架，它将高吞吐量的并行生成…