Logan Robbins

新提出的并行解码器Transformer架构用于内在并行生成

研究人员提出了一种名为并行解码器Transformer（PDT）的新型架构，专为语言模型的内在并行生成而设计。与使用外部系统的现有方法不同，PDT在单个模型内集成了多个因果前沿。这种方法利用三个独立参数化的解码器堆栈，由一个在提示时设置的规划器指导，该规划器创建的轮廓通过持久的Plan-KV内存路由到特定的解码器。该系统目前处于实现和训练阶段，重点是理论设计和可证伪的评估协议，而不是即时的经验结果。