PulseAugur
中
实时 18:50:23
实体 Dense Associative Memories

Dense Associative Memories

PulseAugur coverage of Dense Associative Memories — every cluster mentioning Dense Associative Memories across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_312739 ·

    Dense Associative Memories exhibit grokking-like behavior in learning

    研究人员在训练过程中对密集联想记忆(DenseAMs)的能量函数演化进行了分析研究。他们识别出两种不同的学习模式:一种是模型记住少量示例但未能掌握潜在规则,另一种是在看到多项式数量的模式后发现稀疏约束。设计了一种具有阈值学习规则的新型DenseAM类,实现了简化的稀疏哈密顿量学习,从而大大减少了学习数据集所需的训练示例数量。

  2. RESEARCH · CL_107838 ·

    新的 H-Res 方法可在不改变权重的情况下高效适配 Transformer 模型

    研究人员推出了一种名为 H-Res(分层残差引导)的新方法,用于适配大型 Transformer 模型,这些模型充当密集联想记忆体(DAMs)。该技术通过在激活流形内引导 token 轨迹来解决“可塑性-稳定性”困境,而无需改变模型的核心权重或增加序列长度。据报道,H-Res 在联想检索任务中,通过消除计算开销,在保留注意力熵和促进神经坍塌方面,比 LoRA 和 VPT 等现有方法提高了 26%。