RoPE geometry

InfoFlow KV 改进了长上下文的检索增强生成

研究人员开发了 InfoFlow KV，一种用于改进大型语言模型中检索增强生成（RAG）的新颖方法。该技术通过选择性地重计算 KV 缓存来解决推理过程中预填充大型检索上下文的瓶颈问题。InfoFlow KV 将选择性重计算建模为一个信息流问题，在一致的 RoPE 几何结构下使用注意力范数信号来识别语义相关和结构上有影响力的 token。实验表明，在 LLM 和视觉语言模型基准测试中取得了持续的性能提升。