PulseAugur
中
实时 20:46:53
实体 Niklas Muennighoff

Niklas Muennighoff

PulseAugur coverage of Niklas Muennighoff — every cluster mentioning Niklas Muennighoff across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_221091 ·

    前缀滑动技术提高LLM推理效率

    研究人员推出了一种名为前缀滑动的新技术,旨在提高语言模型在测试时扩展的效率。该方法通过智能地丢弃不太重要的中间标记来解决在内存中保留长推理痕迹的挑战。通过专注于基本指令(前缀)和近期上下文,前缀滑动限制了内存需求,使模型能够在没有高昂成本的情况下进行长时间推理。据报道,该技术可以在不重新训练的情况下使现有模型速度提高三倍,并且通过强化学习可以实现进一步的性能提升。