Yunao Zheng

新的全局状态模型架构提高了语言模型的效率

研究人员推出了一种新颖的因果编码器-解码器架构——全局状态模型（GSM），旨在提高语言模型的效率。GSM 通过使用编码器将长程信息聚合到共享状态中，然后解码器层在不重复访问历史记录的情况下进行处理，从而将历史信息获取与深度计算分离开来。这种方法使得解码器的注意力（attention）和缓存成本与历史长度无关，而依赖感知剪枝（dependency-aware pruning）则减少了预填充（prefill）计算。实验表明，GSM 在达到…