PulseAugur
中
实时 07:37:59
实体 Yongchao Long

Yongchao Long

PulseAugur coverage of Yongchao Long — every cluster mentioning Yongchao Long across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_312716 ·

    研究发现,推测性解码的收益取决于接受成本

    研究人员对推测性解码(一种可以提高语言模型吞吐量的技术)进行了一项对照研究。研究发现,推测性解码的益处高度依赖于接受长度和执行延迟之间的权衡。通过标准化训练和推理条件,研究人员观察到不同方法之间的性能差距显著缩小。他们还发现,可以通过低成本的目标和上下文更改,或成本更高的逐令牌条件设置来改进接受度,最佳方法取决于任务不确定性和服务条件。