Attention modules

研究发现：长上下文训练可能损害大型语言模型的知识

一篇新研究论文提出了“信息丰富悖论”，挑战了大型语言模型中更长上下文窗口总是能提高性能的假设。研究表明，训练过程中过多的相关信息会降低模型进行参数化编码知识的动力，导致过度依赖上下文。这种现象在语言建模、自然语言理解和闭卷问答任务中，超过某个中间最优值后，会降低性能。研究表明，使用信息丰富的上下文进行训练会将梯度压力从与参数化知识相关的馈送网络转移到注意力模块，从而在推理过程中增加上下文依赖性。