Jenny Huang

大型语言模型在减少上下文的情况下表现良好，避免了“上下文污染”

一项新的研究论文探讨了上下文长度对多轮对话中大型语言模型（LLMs）的影响。研究发现，LLMs 在使用显著更少的上下文的情况下仍能保持响应质量，通常通过总结或仅保留最近的用户-助手交流，就能以少8倍的数据达到相似的性能。研究还发现了一种称为“上下文污染”的现象，即模型自身先前响应中的错误或风格痕迹会传播并对后续回合产生负面影响。