LongLoRA

EndPrompt方法通过稀疏监督高效扩展LLM上下文窗口

研究人员开发了EndPrompt，一种无需在长序列上进行大量训练即可有效扩展大型语言模型上下文窗口的新颖方法。通过将具有高位置索引的简短终端提示附加到原始短上下文，EndPrompt在保持语义连续性的同时引入了必要的位置距离。该方法显著降低了计算成本，并在LongBench等基准测试中表现优于现有方法，挑战了上下文扩展需要密集长序列训练的必要性。