Linear Associative Memory
PulseAugur coverage of Linear Associative Memory — every cluster mentioning Linear Associative Memory across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法TAM减少了语言模型推理的内存使用
研究人员开发了一种名为思维感知注意力匹配（TAM）的新方法，以解决语言模型中由长推理序列引起的内存瓶颈问题。TAM将推理轨迹分割成块，根据片段重要性分配压缩预算，并保护关键标记。在Qwen3-4B的数学推理数据集上的实验表明，与均匀压缩方法相比，TAM将峰值内存使用量减少了65%，同时保持了具有竞争力的准确性。
-
新方法可视化MLLM对艺术品描述的推理过程
研究人员开发了一种名为Token激活图（TAM）的新方法，用于理解多模态大型语言模型（MLLM）描述艺术品时背后的视觉推理过程。TAM生成热力图，突出显示模型为每个生成的token所使用的具体视觉证据，有助于区分视觉基础和对文本先验的依赖。研究发现，视觉基础的程度因token的语义类别而异，MLLM在艺术家归属方面的准确性高于预测艺术品标题。
-
新模块自适应机器人扭矩以实现鲁棒运动迁移
研究人员开发了一个扭矩自适应模块（TAM），以改善机器人跨不同硬件和负载的运动迁移。TAM学习调整扭矩指令，使在模拟中训练的策略能够在真实机器人上稳健执行，而无需进行广泛的再训练或领域随机化。该模块已在 Franka Panda 机器人上成功实现了零样本执行，用于推箱子和平衡等任务。
-
线性记忆容量取决于检索：Top-1 为 $n\log n$，列表式为 $n$
研究人员分析了线性联想记忆的容量限制，发现检索标准显著影响可存储的联想数量。对于 Top-1 检索（信号必须优于所有其他信号），记忆大小的规模为 $d^2 \asymp n \log n$。在考虑列表式检索（允许正确目标成为一组强候选者中的一员）时，容量呈二次方缩放 $d^2 \asymp n$。这项工作引入了尾部平均裕度（TAM）标准来形式化列表式检索，并开发了其性能的渐近理论。