PulseAugur
中
实时 05:19:09
实体 JetSpec

JetSpec

PulseAugur coverage of JetSpec — every cluster mentioning JetSpec across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
时间线
  1. 2026-06-30 research_milestone SemiAnalysis introduces JetSpec, a speculative decoding method that significantly reduces LLM latency. 来源
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_118531 ·

    JetSpec 通过并行草稿树将 LLM 延迟降低高达 9.6 倍

    SemiAnalysis 推出了 JetSpec，一种新的投机解码方法，可显著降低大型语言模型的延迟。通过因果并行树草稿方法共同优化草稿成本和质量，JetSpec 在 MATH-500 基准测试中实现了高达 9.64 倍的加速，在开放式聊天场景中实现了 4.58 倍的加速。研究人员预计将与 vLLM 和 SGLang 等推理引擎进行更深入的集成。
  2. RESEARCH · CL_108834 ·

    新的推测解码方法提高了 LLM 推理速度和安全性

    研究人员正在开发先进的推测解码技术，以加速大型语言模型推理。HyperDFlash 针对 DeepSeek-V4 的多超连接架构优化了解码，提高了草稿的准确性和速度。Dustin 通过识别关键标记并减少重新计算来专注于高效的长上下文生成。同时，TAIS 对推测解码的输出进行安全性不变性筛选，发现在温度为零时没有分歧。JetSpec 和 RLM-Cascade 通过结合草稿策略并在响应级别应用推测解码来实现高性价比的 API 服务，提供…