Instruct-2507

新方法将注意力偏置折叠到键中，实现高效 KV 缓存操作

研究人员开发了一种将注意力偏置折叠到键中的方法，使压缩的 KV 缓存能在标准内核上运行。该技术通过重新拟合值并将偏置添加到保留的键中，实现了具有 AM 大小和头维度的普通缓存。在与未修改的 vLLM 和 Hugging Face 进行测试时，折叠后的缓存与现有方法在不同基准测试的各种 Qwen3 和 Llama-3.1 模型上表现相当。