实体
Hidden States
Hidden States
PulseAugur coverage of Hidden States — every cluster mentioning Hidden States across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的投机式解码方法提高了LLM推理速度 · 跟踪7个来源
研究人员正在推进大型语言模型的投机式解码技术，以提高推理速度。两篇新的arXiv论文，ECHO和LoopSpec，分别引入了分层和流水线方法来优化草稿候选生成和验证。ECHO使用早期层奖励logits进行快速草稿探索，而LoopSpec则利用循环Transformer中的中间状态进行流水线草稿生成。另一篇关于Orthrus的论文质疑了投机式解码的“无损”声明，强调了数值精度对输出一致性的影响，而另一项关于Carryover Draft…
-
研究解释了为什么训练后量化对大型语言模型有效
一篇新的研究论文探讨了大型语言模型（LLMs）中训练后量化（PTQ）的现象。PTQ通过降低模型权重的精度来压缩LLMs，这通常会在隐藏状态中引入错误。该论文确定了两个关键机制，解释了为什么预训练模型对这些量化误差具有鲁棒性。首先，一层引入的误差倾向于抵消前一层继承的误差，导致差异的缓慢增长。其次，语言模型头部的几何结构优先考虑高排名标记，保留了模型最自信的预测。这些因素共同解释了为什么PTQ在大幅降低权重的情况下仍能保持下游任务的性能。