engram
PulseAugur coverage of engram — every cluster mentioning engram across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
Engram 工具将 AI 代码记忆集中化以供团队共享
Engram 是一款新推出的开源工具，旨在帮助开发者管理其 AI 的代码记忆。这款文本用户界面 (TUI) 将 AI 的记忆集中化，允许使用标准的 Git 实践与团队共享。其目标是超越简单的文本搜索 AI 生成的代码。
-
Engram 通过将知识嵌入权重而非仅限于上下文来引领AI“记忆”
AI初创公司Engram正在开发一种新颖的AI记忆和持续学习方法，旨在将专业知识直接嵌入模型权重，而不是仅仅依赖检索增强生成（RAG）或大型上下文窗口。该公司由理论神经科学和计算机系统架构领域的专家创立，他们认为这种方法将使AI模型能够更像经验丰富的员工一样运作，直观地理解特定的组织知识。Engram的策略涉及轻量级训练技术和适配器，并着眼于为每个人和每个团队打造个性化AI模型的长远愿景。
-
Engram 为私有上下文 AI 模型融资 9800 万美元
Engram 已从 General Catalyst、Kleiner Perkins 和 Sequoia 等知名风险投资公司那里获得了 9800 万美元的融资。该公司旨在开发在单一公司私有数据上进行训练的 AI 模型，这与依赖更广泛互联网进行学习的模型有所区别。
-
新的“User as Engram”方法通过大脑启发的记忆编辑实现LLM的个性化
研究人员提出了一种名为“User as Engram”的新方法，用于个性化语言模型，该方法借鉴了人脑的记忆系统。与目前将用户数据存储在外部或使用可能污染模型的每用户LoRA适配器的方法不同，这种新方法将用户内容存储为模型记忆表中的手术式编辑。这种方法显著减小了内存占用，并将间接推理准确性平均提高了5.6倍，同时确保单个用户数据不会对模型的通用推理能力产生负面影响。
-
新的TN-gram模块提升LLM内存效率
研究人员推出了一种名为Tensorized Engram (TN-gram) 的新型大语言模型（LLM）记忆模块，旨在改进模型处理多词组模式的方式。与以往为不同n-gram阶数使用独立记忆结构的方法不同，TN-gram采用标准多项式（Canonical Polyadic）形式的共享因子。这种方法能够更有效地编码n-gram嵌入，并且在参数数量显著减少的情况下，展现出与现有Engram模块相当或更优的性能。
-
新研究质疑 Engram 模块在图像生成中的作用
一篇新论文研究了 Engram 模块，该模块旨在通过联想记忆增强 Transformer 层，并将其应用于自回归图像生成。研究将 Engram 适配于视觉任务，并在一个在 ImageNet 上训练的模型上进行了测试，发现虽然它降低了计算负荷，但与标准的自回归基线相比，样本质量并未得到改善。进一步的实验表明，在此背景下，Engram 更像是一个门控架构通路，而不是一个内容寻址的记忆检索器。
-
Lngram模块学习离散符号以改进序列建模
研究人员推出 Lngram，一种在潜在空间中运行的新型序列建模模块。与依赖分词的先前方法不同，Lngram 直接从隐藏状态学习离散符号并执行 N-gram 查找。这种方法在长上下文语言建模中表现出改进的性能，并且在添加到预训练模型时能有效整合领域知识。该模块在视觉-语言和视觉-语言-动作任务中也显示出潜力，表明其在文本之外具有更广泛的适用性。
-
新的“错误归因差距”攻击针对人工智能记忆层
一篇题为《错误归因差距》的新研究论文，将“语义规范漂移”（SND）作为一种针对代理式人工智能系统的新型攻击向量。该攻击利用记忆层，使其难以与模型失准区分。SND 涉及将策略文档注入向量存储，丢失出处，并作为可信上下文重新出现，导致代理行为不当。该论文还提出了“反事实组合测试”和“记忆持久信息流控制”作为防御机制，声称在识别攻击来源和阻止相当比例的攻击方面具有高准确率。
-
DeepSeek 的 V4 模型省略了 Engram 记忆模块，引发了讨论和新研究
DeepSeek 最新的 V4 模型显著省略了 Engram，这是一个与北京大学共同开发的创新记忆和效率模块。Engram 的设计目的是通过允许直接知识查找而不是重新计算静态信息来增强 Transformer，人们曾预计它将成为 V4 的基础组成部分。尽管 Engram 未包含在 V4 中，但其原理正在后续研究中被探索，包括用于多机部署的 CXL 内存池、其哈希机制的实验验证以及向视觉模态的适应。
-
EngramaBench 评估 LLM 的长期对话记忆
研究人员推出了 EngramaBench，这是一个旨在评估大型语言模型长期对话记忆能力的新基准。该基准包含五个不同的角色和一百次多轮对话，查询内容测试事实回忆、时间推理和综合能力。在评估中，具有全上下文提示的 GPT-4o 取得了最高的总体分数，尽管一个名为 Engrama 的图结构记忆系统在跨空间推理方面表现更优。