FD-KVC

新的FD-KVC算法增强了对话系统的内存管理

研究人员推出了一种名为Fractional Decay KV-Cache (FD-KVC)的新型内存管理算法，旨在提高对话系统中响应的相关性。与现有统一处理缓存数据的方法不同，FD-KVC采用双通道评分机制，同时跟踪累积注意力和近期加权相关性，使其能够适应不断变化的对话主题。这种方法在处理主题转移和保持主题多样性方面，相比最先进的H2O基线表现出显著的改进，同时还能在CPU上高效运行。