Looped architectures

新的 BeNice! 方法提高了 AI 推理内存效率

研究人员开发了一种名为 BeNice! 的新颖方法，以解决循环 AI 架构在推理过程中内存的限制。该技术实现了 KV 共享，其中后续处理阶段的键值缓存被重用于早期阶段，从而显著减少了内存增长。BeNice! 是一种训练后方法，它训练模型生成兼容的残差，同时保持质量，并且可以与其他节省内存的技术（如量化和高效注意力机制）结合使用。在模拟中，使用 BeNice! 的 KV 共享在长上下文推理的缓存命中率、吞吐量和延迟降低方面显示出显著的改进。