Abraham Toluwase Owodunni

新的多字节预测方法加速了分层语言模型

研究人员开发了一种称为多字节预测（MBP）的新方法，以加速分层语言模型的推理速度。该技术并行生成多个字节，在对性能影响极小且无需额外参数的情况下实现了显著的加速。MBP通过引入可变长度预测窗口和新颖的注意力掩码方案来在并行字节生成过程中保持因果关系，从而增强了多令牌预测范式。在包括指令遵循、问答、摘要和机器翻译在内的各种生成任务上的评估表明，MBP在性能和推理吞吐量之间实现了最佳平衡。