Mentored Decoding

Mentored Decoding：机器学习增强理论提升LLM推理速度与质量

研究人员推出了一种名为“Mentored Decoding”的新方法，该方法通过借鉴机器学习增强理论来提高语言模型的推理速度和质量。该方法正式定义了有损推测解码，允许偏离目标模型以提高速度，同时可能提高输出质量。论文详细介绍了Mentored Decoding的关键特性，包括其在特定情况下的几何性质以及用于参数查询和分布构建的高效数据结构。