Transcript-Managed Transformers

新的Transcript-Managed Transformers架构探索通用性

研究人员推出了一种新的模型架构Transcript-Managed Transformers (TMT)，该架构专为固定、有限精度的因果Transformer设计。该架构将转录本划分为通道，允许进行追加块和删除最新块以暴露其前驱体等操作。TMT模型及其无弹出变体RTMT可以实现确定性有限状态转换，并通过添加弹出操作，实现通用性，能够处理单通道的确定性无上下文无关语言和两通道或更多通道的递归可枚举语言。