PulseAugur
中
实时 18:49:56
实体 Looped Language Models

Looped Language Models

PulseAugur coverage of Looped Language Models — every cluster mentioning Looped Language Models across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 3 条
  1. TOOL · CL_321918 ·

    新研究质疑循环语言模型中停止头的效率声明

    研究人员在循环语言模型的停止头实现中发现了两个关键问题,这些模型旨在通过允许标记提前停止处理来节省计算资源。第一个问题是,当前的训练方法根据所有可能迭代的混合来对标记评分,这不能准确反映标记的实际停止点。这导致计算节省被高估。第二个问题出现在模型批量处理序列时;在这种情况下,没有停止头的模型与有停止头的模型性能几乎相当,这进一步夸大了感知到的效率提升。该研究建议改进报告方法,包括停止阈值和批量大小,以提供更准确的计算节省量度。

  2. RESEARCH · CL_300700 ·

    LoopQuant 实现了循环语言模型的低比特高效部署

    研究人员开发了 LoopQuant,一个新颖的训练后量化框架,旨在以低比特宽度高效部署循环语言模型 (LoopLMs)。与现有方法在处理 LoopLMs 的递归性质时遇到的困难不同,LoopQuant 采用了三个关键组件:跨循环分布规范化、感知交互的精度分配以及循环条件任务校准。实验表明,LoopQuant 在 Ouro-2.6B 等模型上显著优于现有方法,实现了显著的内存减少和解码速度提升,同时保持了高精度。

  3. RESEARCH · CL_283190 ·

    新方法通过推测性解码加速大语言模型推理 · 跟踪10个来源

    研究人员正在开发新的方法,通过推测性解码来加速大语言模型(LLM)的推理。这些技术包括使用一个轻量级的“草稿”模型并行生成多个标记,然后由一个更大的“目标”模型进行验证。S$^3$R、DCOCO 和 Nucleus Speculative Decoding 等新方法旨在通过优化验证过程、恢复上下文依赖关系或允许更灵活的接受规则来提高效率。一些方法还探索分析 LLM 的隐藏状态以更好地选择用于验证的层,而另一些方法则侧重于防御会降低推测…