Hybrid Linear Attention

混合线性注意力提高了长上下文LLM的性能

研究人员开发了混合线性注意力（HLA），这是一种新颖的注意力机制，旨在提高大型语言模型中的长上下文建模能力。与固定的分块混合方法相比，HLA根据查询动态路由信息，允许更自适应地访问历史数据。当应用于Qwen 3.5模型时，HLA在LongBench-v2和RULER等基准测试中表现出显著的性能提升，并且在从头开始训练场景中也提高了跨越扩展上下文长度的性能。