PulseAugur
中
实时 07:17:09
实体 1700-1800 : in the University of Illinois Library

1700-1800 : in the University of Illinois Library

PulseAugur coverage of 1700-1800 : in the University of Illinois Library — every cluster mentioning 1700-1800 : in the University of Illinois Library across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_256792 ·

    如果接受率过低，推测性解码会拖慢大语言模型的速度

    推测性解码是一种旨在加速大语言模型推理的技术，但如果配置不当，它会适得其反地降低性能。该方法涉及一个较小的“草稿”模型生成候选 token，然后由较大的“目标”模型进行验证。只有当接受率——目标模型接受的草稿 token 的比例——足够高以抵消草稿模型的计算成本时，这种方法才有效。在一用户的经验中，由于接受率低，一个 32B 的模型速度变慢了 47%，这凸显了根据不同工作负载衡量此接受率并优化草稿长度和模型匹配的重要性。