字节跳动研究人员发现DeepSeek旧模型存在周期性弱点,模型答案会根据信息在上下文窗口中的位置在正确和错误之间振荡。这种被称为“相位敏感性”的现象,与DeepSeek在CSA和HCA注意力机制中的基于块的KV压缩机制有关。虽然DeepSeek-V4.1-Flash等新版本在缓解此问题方面有了显著改进,不同“相位”下的准确率差距减小,但底层的压缩架构仍然存在。需要进一步研究以了解这种敏感性对AI代理等复杂任务的实际影响。 AI
影响 强调了压缩上下文模型中潜在的检索弱点,敦促关注相位敏感性和AI代理的最坏情况性能。
排序理由 该条目详细介绍了关于特定AI模型及其底层架构弱点的研究发现,以及实验验证和与新版本的比较。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →