实体
lossy verification
lossy verification
PulseAugur coverage of lossy verification — every cluster mentioning lossy verification across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
研究发现推测解码面临长度膨胀问题
一篇新研究论文发布在arXiv上,题为“接受不等于速度:无训练的失效率性推测解码中的长度膨胀”(Acceptance Is Not Speed: Length Inflation in Training-Free Lossy Speculative Decoding),识别出一种称为长度膨胀的推测解码现象。当放宽(失效率性)验证每轮接受更多token时,会显著延长整体完成时间,常常抵消了明显的提速效果。该研究评估了各种无训练的放宽验证…
-
新研究通过先进的推测解码技术提高LLM推理速度 · 追踪8个来源
研究人员正在探索先进技术,通过推测解码来加速大型语言模型(LLM)的推理。"Functional Reconstruction"等新方法旨在通过优化注意力函数来提高草稿模型和目标模型之间的一致性,而"SparseSpec-L"则利用动态稀疏化的KV缓存和每头注意力统计数据来提高效率。其他工作重新审视了"lossy verification"以分析权衡和失败模式,并将方法分为基于截断和协作验证。此外,"AngelSpec"为不同的推测解…