TraceQuery

TraceQuery框架优化扩散语言模型推理

研究人员开发了TraceQuery，一种用于优化扩散大型语言模型（dLLMs）推理过程的新型框架。与以往关注基于表示误差的缓存和重新计算的方法不同，TraceQuery利用全去噪轨迹来指导计算。这种方法识别并仅重新计算最相关的标记位置，显著改善了质量-计算权衡。TraceQuery在各种任务和模型架构中都表现出强大的性能，在保持高精度的同时大幅降低了计算成本。