FlexPrefill

DeepSeek模型在上下文检索中表现出周期性弱点，新版本有所改进

字节跳动研究人员发现DeepSeek旧模型存在周期性弱点，模型答案会根据信息在上下文窗口中的位置在正确和错误之间振荡。这种被称为“相位敏感性”的现象，与DeepSeek在CSA和HCA注意力机制中的基于块的KV压缩机制有关。虽然DeepSeek-V4.1-Flash等新版本在缓解此问题方面有了显著改进，不同“相位”下的准确率差距减小，但底层的压缩架构仍然存在。需要进一步研究以了解这种敏感性对AI代理等复杂任务的实际影响。