实体
speculative cascades
speculative cascades
PulseAugur coverage of speculative cascades — every cluster mentioning speculative cascades across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
LLM 推理和推理技术随着新研究和硬件的进步而发展
研究人员正在探索新的方法来提高大型语言模型 (LLM) 的效率和推理能力。Google Research 正在开发训练 LLM 以贝叶斯方式进行推理的技术，从而提高它们更新概率估计和泛化到新任务的能力。同时，推理优化方面的进展包括“投机级联”，它将更小、更快的模型与更大的模型结合起来，以及“上下文回收”来管理长对话范围。此外，正在开发“级联多粒度剪枝”和“SharQ”等方法来压缩 LLM 以进行设备上推理，从而在保持准确性的同时降低延…
-
研究人员揭示提高 LLM 推理速度和效率的新方法
Google Research 推出了“投机级联”（speculative cascades），一种通过将投机解码与标准级联相结合来提高大型语言模型（LLM）效率的新颖方法。这种混合方法旨在降低计算成本和推理延迟，同时不损害输出质量。通过策略性地使用较小的模型来预测 token，然后用较大的模型进行验证，投机级联与单独使用任一技术相比，提供了更好的成本-质量权衡，Gemma 和 T5 模型已证明了这一点。