研究人员开发了ASRN(自适应稀疏递归网络),这是一种新颖的语言模型层,旨在实现高效的信息长距离复制。ASRN利用学习到的固有时间时钟来管理内存衰减,并采用一种独特的机制,允许每条数据仅关注其最近的哈希桶同伴。这种方法使模型能够以有限的计算量精确检索过去的事件,并根据学习到的强度和重复次数决定何时复制。 AI
影响 为语言模型中高效的长距离信息检索引入了一种新方法。
排序理由 该集群描述了一篇关于新颖神经网络架构的新技术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →