PulseAugur
中
实时 20:23:18
实体 Prefix Sliding

Prefix Sliding

PulseAugur coverage of Prefix Sliding — every cluster mentioning Prefix Sliding across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_226344 ·

    斯坦福大学论文推出前缀滑动技术,AI推理速度提升3倍

    斯坦福大学的研究人员开发了一种名为前缀滑动(Prefix Sliding)的新方法,以提高AI模型长上下文推理的效率。该技术在生成过程中丢弃中间标记,只保留初始指令和最近的标记窗口,从而无论推理长度如何都能限制内存使用。前缀滑动技术无需对模型进行任何重新训练,已证明能为现有模型带来三倍的速度提升,同时保持性能,并支持超过10万个标记的推理链。

  2. RESEARCH · CL_221091 ·

    前缀滑动技术提高LLM推理效率

    研究人员推出了一种名为前缀滑动的新技术,旨在提高语言模型在测试时扩展的效率。该方法通过智能地丢弃不太重要的中间标记来解决在内存中保留长推理痕迹的挑战。通过专注于基本指令(前缀)和近期上下文,前缀滑动限制了内存需求,使模型能够在没有高昂成本的情况下进行长时间推理。据报道,该技术可以在不重新训练的情况下使现有模型速度提高三倍,并且通过强化学习可以实现进一步的性能提升。