PulseAugur
中
实时 17:54:56
English(EN) Where Does Long-Context Supervision Actually Go? Effective-Context Exposure Balancing

新的EXACT方法提升LLM长上下文理解能力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为EXACT的新监督目标，以改进语言模型的长上下文适应性。该方法通过为依赖更长有效上下文的目标分配额外权重来解决打包训练中的不匹配问题。在Qwen和LLaMA模型上的实验表明，在NoLiMa和RULER等基准测试中取得了显著改进，特别是在证据位于数千个标记之外时，同时保持了在标准问答和推理任务上的性能。 AI

影响 增强了语言模型处理和回忆长文档遥远部分信息的能力。

排序理由 该集群包含一篇详细介绍改进语言模型性能新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的EXACT方法提升LLM长上下文理解能力

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Menglin Yang ·

    Where Does Long-Context Supervision Actually Go? Effective-Context Exposure Balancing

    Long-context adaptation is often viewed as window scaling, but this misses a token-level supervision mismatch: in packed training with document masking, each target token's effective context remains short. We introduce EXACT, a supervision-allocation objective that assigns extra …

相关实体

相关话题