实体
LoopLMs
LoopLMs
PulseAugur coverage of LoopLMs — every cluster mentioning LoopLMs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LoopQuant 实现了循环语言模型的低比特高效部署
研究人员开发了 LoopQuant，一个新颖的训练后量化框架，旨在以低比特宽度高效部署循环语言模型 (LoopLMs)。与现有方法在处理 LoopLMs 的递归性质时遇到的困难不同，LoopQuant 采用了三个关键组件：跨循环分布规范化、感知交互的精度分配以及循环条件任务校准。实验表明，LoopQuant 在 Ouro-2.6B 等模型上显著优于现有方法，实现了显著的内存减少和解码速度提升，同时保持了高精度。
-
研究阐明循环语言模型中循环的有效性
一篇新研究论文探讨了循环语言模型（LoopLMs）中循环的有效性，该模型旨在通过参数共享来增加计算深度。该研究系统地调查了循环何时有益、应在架构中的何处应用以及在不同推理预算和任务中条件如何影响性能。主要发现表明，循环可以增强训练范围之外的推理能力，但可能会降低知识性能，而最优的层分配和状态注入方法对于稳健的结果至关重要。