Mehryar Mohri

新型理性变换器架构增强Transformer能力

研究人员推出了一种名为理性变换器（Rational Transductors）的新型双流架构，旨在增强Transformer模型。该新框架集成了加权有限自动机（WFA），通过矩阵值递归来增强Transformer，使其能够捕捉更广泛的序列逻辑和状态跟踪能力。该架构旨在克服标准Transformer在处理严格序列任务和鲁棒长度泛化方面的局限性，在传统Transformer表现不佳的算法问题上提供改进的性能。