DeepSeek-V4-Flash-Base

字节跳动发现 DeepSeek 模型表现出周期性性能下降

字节跳动的 Seed 团队发现 DeepSeek-V4 模型存在周期性性能问题，模型的准确性会根据输入 token 的位置而波动。这种“相位敏感性”与 DeepSeek 的块 KV 缓存压缩技术有关，该技术旨在提高长上下文的效率。研究人员发现，根据信息在压缩上下文窗口中的位置，模型回忆信息的能力会因压缩率不同而变化超过 40 个百分点，周期长度与压缩步长相关。