AdaMTP

新的AdaMTP范式通过自适应预测改进LLM训练

研究人员推出AdaMTP，这是一种旨在改进大型语言模型多令牌预测（MTP）的自适应训练范式。与使用固定预测范围的现有MTP框架不同，AdaMTP根据序列的可预测性动态调整预测长度，并使用基于熵的分割算法来识别语义边界。这种方法旨在减轻可能损害模型核心能力的噪声训练信号和梯度干扰。在Llama-3.1-8B、Qwen 2.5 7B和Gemma-3-12B模型上的实验表明，AdaMTP在各种基准测试中提高了性能和推理速度。