一篇新的研究论文探讨了Transformer文法中不同的树遍历方法，超越了标准的深度优先遍历（DFT）。该研究引入了广度优先遍历（BFT）和混合产生式规则遍历（PRT），并评估了它们对语言建模、句法泛化和摘要任务的影响。研究结果突出了组合深度和全局前瞻之间的权衡，为优化Transformer文法设计提供了指导。 AI
影响 为Transformer文法引入了新的遍历策略，有可能提高语言建模及相关任务的性能。
排序理由 该集群包含一篇在arXiv上发表的研究论文，详细介绍了Transformer文法的新方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.16836v1 Announce Type: new Abstract: Transformer Grammars (TGs) enhance language modeling by incorporating syntactic tree structures. Despite the potentially significant impact on model performance of how syntactic trees are linearized in TGs, existing studies rely sol…
Transformer Grammars (TGs) enhance language modeling by incorporating syntactic tree structures. Despite the potentially significant impact on model performance of how syntactic trees are linearized in TGs, existing studies rely solely on Depth-First Traversal (DFT) for lineariza…