实体
LongLoRA
LongLoRA
PulseAugur coverage of LongLoRA — every cluster mentioning LongLoRA across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
EndPrompt方法可高效扩展LLM上下文窗口
研究人员开发了一种名为EndPrompt的新方法，可以在无需对长序列进行大量训练的情况下，高效地扩展大型语言模型的上下文窗口。该技术通过使用简短的初始片段和简短的终端提示进行训练，引入了必要的位置信息。EndPrompt在LongBench等基准测试中表现出显著的改进，其性能优于其他方法，同时消耗的计算资源大大减少。
-
EndPrompt方法通过稀疏监督高效扩展LLM上下文窗口
研究人员开发了EndPrompt，一种无需在长序列上进行大量训练即可有效扩展大型语言模型上下文窗口的新颖方法。通过将具有高位置索引的简短终端提示附加到原始短上下文，EndPrompt在保持语义连续性的同时引入了必要的位置距离。该方法显著降低了计算成本，并在LongBench等基准测试中表现优于现有方法，挑战了上下文扩展需要密集长序列训练的必要性。