PulseAugur
中
实时 20:12:53
English(EN) A trained fast-weight memory: a 3M-param transformer installs never-trained rules at inference, forward-only — where test-time training transfers nothing (single RTX 3090, fully reproducible)

Transformer记忆库可在推理时实现持续学习

作者 PulseAugur 编辑部 · [1 个来源] ·

一位独立研究员开发了一种新颖的Transformer快速权重记忆库，可在推理时实现持续学习，无需反向传播或传统的测试时训练。该系统在一个小型DeepSeek风格的Transformer上进行了测试，成功地以高精度安装和泛化了从未训练过的规则。研究表明，这种记忆机制比测试时训练或上下文学习在推理过程中适应新信息方面更有效且效率更高。 AI

影响 这项研究可能带来更高效、更具适应性的语言模型，使其能够在不进行昂贵重新训练的情况下学习新信息。

排序理由 该集群描述了一篇新颖的研究论文，详细介绍了一种Transformer记忆和学习的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Transformer记忆库可在推理时实现持续学习

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/KKuettes ·

    A trained fast-weight memory: a 3M-param transformer installs never-trained rules at inference, forward-only — where test-time training transfers nothing (single RTX 3090, fully reproducible)

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1uptw9b/a_trained_fastweight_memory_a_3mparam_transformer/"> <img alt="A trained fast-weight memory: a 3M-param transformer installs never-trained rules at inference, forward-only — where test-time training tr…

相关实体

相关话题