PulseAugur
实时 11:40:25
实体 EfficientRollout

EfficientRollout

PulseAugur coverage of EfficientRollout — every cluster mentioning EfficientRollout across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_93469 ·

    新方法通过投机解码提高 LLM 推理速度 · 跟踪 7 个来源

    研究人员正在开发先进的投机解码技术来加速大型语言模型 (LLM) 推理。JetFlow 是一个新框架,通过结合草稿效率和因果条件,提高速度,在各种基准测试中实现显著加速。EfficientRollout 专注于通过使用系统感知型自我投机解码来加速强化学习的 rollout,适应不断变化的策略和系统条件以减少延迟。Nightjar 提供了一种资源感知型自适应方法,动态调整投机解码长度并在有利时禁用它,以在实时服务场景中最大化吞吐量。另外…