LongCrafter

新框架LongCrafter增强LLM长上下文理解能力

研究人员推出了一种名为LongCrafter的新框架，旨在生成多样化的高质量数据，用于微调大型语言模型（LLMs），以提高其长上下文理解能力。该框架通过分层组织任务、将生成指令与证据图关联，并确保可控的难度和忠实度，解决了现有方法的局限性。使用LongCrafter数据微调的模型在LongBench和LongBench-v2等基准测试中表现出优越的性能，尤其在更具挑战性的任务上表现出色，并缓解了“中间丢失”问题。