ValuSpec

新的推测解码方法提高LLM推理速度 · 跟踪9个来源

研究人员正在开发新的方法，通过推测解码来加速大型语言模型（LLM）的推理。例如，ChainFlow 使用潜在状态上的流匹配，将草稿速度比现有方法提高了高达39%。ValuSpec 提供了一个即插即用的机制，在验证前过滤低质量的候选分支，实现了高达2.38倍的加速。HyFlash 和 D3D 等其他方法则侧重于优化草稿器容量和解耦依赖关系以实现更高效的并行处理，其中D3D在特定基准测试中展示了高达7.48倍的加速。