研究人员推出了一种名为LongCrafter的新框架，旨在生成多样化的高质量数据，用于微调大型语言模型（LLMs），以提高其长上下文理解能力。该框架通过分层组织任务、将生成指令与证据图关联，并确保可控的难度和忠实度，解决了现有方法的局限性。使用LongCrafter数据微调的模型在LongBench和LongBench-v2等基准测试中表现出优越的性能，尤其在更具挑战性的任务上表现出色，并缓解了“中间丢失”问题。 AI
影响 该框架有望带来更强大的LLMs，能够处理和理解更长的文档，从而改进研究、分析和内容生成等应用。
排序理由 该集群包含一篇详细介绍新框架及其在基准测试中性能的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.06160v1 Announce Type: cross Abstract: Synthesizing long-context supervised fine-tuning (SFT) data is a scalable way to enhance the long-context understanding of large language models (LLMs), yet existing approaches share three limitations: narrow task coverage, insuff…
Synthesizing long-context supervised fine-tuning (SFT) data is a scalable way to enhance the long-context understanding of large language models (LLMs), yet existing approaches share three limitations: narrow task coverage, insufficient instruction difficulty, and a lack of faith…