diffusion drafters
PulseAugur coverage of diffusion drafters — every cluster mentioning diffusion drafters across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Split-KV 方法提高了扩散起草器训练效率
研究人员开发了 Split-KV,一种新颖的上下文并行方法,旨在提高扩散起草器(diffusion drafters)的训练效率。该技术解决了扩散起草器中的负载均衡挑战,扩散起草器使用锚点采样(anchor sampling)来创建用于推测性解码(speculative decoding)的紧凑型起草查询(draft queries)。Split-KV 将键/值分片(key/value shards)保留在本地,并将通信限制在查询大小…
-
XPress增强了扩散模型的投机解码
研究人员开发了xPress,一种改进扩散草稿器(diffusion drafters)中投机解码(speculative decoding)的新方法。该技术解决了扩散模型中独立采样的token的问题,这可能导致联合概率不高的序列。通过并行恢复草稿token块的因果依赖关系,xPress显著提高了接受长度(acceptance length)和端到端解码吞吐量(end-to-end decoding throughput)。在Qwen3…
-
新研究通过先进的推测解码技术提高LLM推理速度 · 追踪8个来源
研究人员正在探索先进技术,通过推测解码来加速大型语言模型(LLM)的推理。"Functional Reconstruction"等新方法旨在通过优化注意力函数来提高草稿模型和目标模型之间的一致性,而"SparseSpec-L"则利用动态稀疏化的KV缓存和每头注意力统计数据来提高效率。其他工作重新审视了"lossy verification"以分析权衡和失败模式,并将方法分为基于截断和协作验证。此外,"AngelSpec"为不同的推测解…