研究人员开发了LinearARD，一种新颖的自蒸馏方法，旨在恢复大型语言模型（LLM）在扩展上下文窗口后的性能。该技术侧重于对齐学生模型和教师模型之间的注意力动态，而不仅仅是匹配隐藏状态。通过使用线性内存核来高效管理注意力图，LinearARD显著减少了所需的训练token数量，在实现长上下文能力提升的同时，达到了原始短文本性能的98.3%。 AI
影响 该方法可以实现更高效的LLM上下文窗口扩展，而不会牺牲在短序列上的性能。
排序理由 该集群描述了一篇关于改进LLM性能的新颖方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Continual Pre-Training
- Hengyu Zhong
- large-language models
- LinearARD
- llama2-7b
- Longredi
- Rope
- Rotary Position Embeddings
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
