实体
Fast Weight Programmers
Fast Weight Programmers
PulseAugur coverage of Fast Weight Programmers — every cluster mentioning Fast Weight Programmers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Lifelong AI Learning Needs Parametric Attention in Transformers, Paper Argues
一项新的研究论文提出，要在 AI 代理中实现终身持续学习，必须在 Transformer 模型中使用参数化形式的注意力。该论文认为，当前注意力机制的二次方复杂度限制了 Transformer 处理任意长序列以进行上下文学习的能力。通过采用参数化注意力（该注意力通过回归在测试时学习键值关系），模型可以保持恒定的内存占用，这与 softmax 注意力等非参数化方法不同。该研究指出了参数化注意力目前的局限性，例如内存容量受限和在线更新成本高…
-
新型量子启发式模型实现可扩展序列学习
研究人员开发了一个名为 gated QKAN-FWP 的新型量子启发式序列学习框架，该框架将快速权重编程器 (FWP) 与量子启发式 Kolmogorov-Arnold 网络 (QKAN) 相结合。该方法利用单量子比特数据重新上传电路作为非线性激活，并结合标量门控更新规则以实现稳定的参数演化。该框架在时间序列预测（包括太阳周期预测）方面表现出色，其参数量远少于经典模型，但性能更优。