研究人员推出了一种新颖的因果编码器-解码器架构——全局状态模型（GSM），旨在提高语言模型的效率。GSM 通过使用编码器将长程信息聚合到共享状态中，然后解码器层在不重复访问历史记录的情况下进行处理，从而将历史信息获取与深度计算分离开来。这种方法使得解码器的注意力（attention）和缓存成本与历史长度无关，而依赖感知剪枝（dependency-aware pruning）则减少了预填充（prefill）计算。实验表明，GSM 在达到与 DeepSeek-V4.1-Flash 基线相当的性能的同时，在某些规模下具有改进的潜力，并且还提高了训练和推理吞吐量并降低了缓存开销。 AI
影响 这种新架构可能导致更高效的大型语言模型的训练和推理，降低计算成本并提高长上下文任务的性能。
排序理由 该集群包含一篇详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
