实体
Kathleen
Kathleen
PulseAugur coverage of Kathleen — every cluster mentioning Kathleen across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新型记忆层在无注意力机制下提升AI回忆准确性
研究人员为无注意力机制的循环序列模型开发了一种名为“笔记本”的新型记忆层，以解决其回忆过去信息方面的弱点。该笔记本由一个具有学习门控的全息关联存储器组成，显著提高了单次回忆的准确性，即使在远超训练数据长度的情况下也是如此。该系统展示了选择性遗忘和每令牌归因等能力，为回忆的信息提供了精确的出处。当应用于真实文本时，该笔记本提高了重复罕见词的预测能力，并在没有记忆污染的情况下保持了在扩展长度下的性能。
-
无注意力机制的架构在语言生成和扩展方面展现出潜力
一篇新的研究论文《Kathleen Writes: 无注意力机制的自回归生成与数据扩展》探讨了一种用于语言建模的无注意力机制架构。该研究表明，这种架构在分类任务上可以媲美强大的基线模型，并在生成方面展现出潜力。论文引入了一个名为 FORM DISTANCE 的新指标来评估文本质量，并提出解码策略对生成性能有显著影响，甚至比架构改变的影响更大。