Kathleen

无注意力机制的架构在语言生成和扩展方面展现出潜力

一篇新的研究论文《Kathleen Writes: 无注意力机制的自回归生成与数据扩展》探讨了一种用于语言建模的无注意力机制架构。该研究表明，这种架构在分类任务上可以媲美强大的基线模型，并在生成方面展现出潜力。论文引入了一个名为 FORM DISTANCE 的新指标来评估文本质量，并提出解码策略对生成性能有显著影响，甚至比架构改变的影响更大。