Together AI发布了DeepSeek V4 Pro，这是一个开源模型，其KV缓存架构与之前的DeepSeek模型相比有了显著不同。这种新架构采用了滑动窗口注意力、索引器和压缩状态来增强缓存重用。为了优化性能，Together AI实现了融合注意力设置内核、更快的稀疏注意力内核、改进的内核重叠和图级优化。 AI
影响 此次发布在KV缓存方面引入了架构创新，可能影响未来的模型开发和优化策略。
排序理由 知名AI实验室发布的开源模型。[lever_c_从frontier_release降级：ic=2 ai=1.0]
在 X — Together (inference / OSS) 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
DSV4 blog: https://t.co/T1mlIq1yrZ DSV4 tech talk: https://t.co/sPiJ3lo6Ry Try DSV4: https://t.co/wBC2ldzzyD
DeepSeek V4 Pro has a fundamentally different KV cache than any prior DeepSeek model. Sliding window attention, an indexer, and compression states all need to be stored correctly to get good cache reuse. To get it to run fast we didn't just rewrite the KV cache from scratch, we …