实体
AdaFlash
AdaFlash
PulseAugur coverage of AdaFlash — every cluster mentioning AdaFlash across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新研究通过先进的推测解码技术提高LLM推理速度 · 追踪8个来源
研究人员正在探索先进技术，通过推测解码来加速大型语言模型（LLM）的推理。"Functional Reconstruction"等新方法旨在通过优化注意力函数来提高草稿模型和目标模型之间的一致性，而"SparseSpec-L"则利用动态稀疏化的KV缓存和每头注意力统计数据来提高效率。其他工作重新审视了"lossy verification"以分析权衡和失败模式，并将方法分为基于截断和协作验证。此外，"AngelSpec"为不同的推测解…
-
新方法通过投机解码加速大语言模型推理 · 跟踪4个来源
研究人员正在开发新的方法，通过投机解码来加速大语言模型（LLM）的推理。例如，AdaFlash 使用 on-policy 蒸馏和自适应长度头来降低方差和验证成本，实现了高达 66% 的吞吐量提升。SpecLA 为线性注意力模型提供了高效的投机解码，速度提升高达 1.70 倍。另一种方法 SpecVocab 使用投机词汇来提高接受长度和吞吐量，而 Progressive Tree Drafting (PTD) 采用引导式并行草稿策略，解…