LightTransfer

NLL引导的层选择优化LLM长上下文效率

研究人员开发了一种名为NLL引导层选择的新型无训练方法，以优化长上下文LLM的效率。该技术通过测量当某一层使用滑动窗口注意力而非全注意力时的负对数似然下降来识别混合注意力模型中应保留全注意力的层。将其应用于LongMemEval基准测试上的Qwen3-4B模型，该方法仅使用1/4的全注意力层就达到了64.6%的准确率，显著优于现有基线，同时计算成本减半。