实体
Eran Malach
Eran Malach
PulseAugur coverage of Eran Malach — every cluster mentioning Eran Malach across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
Apple 研究人员发布用于高效长上下文检索的加权状态融合
Apple Machine Learning Research 推出了一种名为加权状态融合 (Weighted State Souping) 的新方法，以提高状态空间模型 (SSM) 在长上下文检索方面的效率。该技术解决了现有 SSM 和状态融合方法在处理长而复杂上下文时遇到的局限性。通过学习查询相关的权重来组合缓存状态，加权状态融合显著提高了文档问答、检索、变量跟踪和工具使用等任务的性能。一种高效的稀疏变体在不牺牲性能的情况下进一步…
-
苹果研究揭示门控机制阻碍状态空间模型的上下文学习
Apple Inc. 的研究人员发表了一篇论文，探讨了门控机制在状态空间模型（SSMs）中的作用。他们的发现表明，这种机制虽然有利于泛化到长序列，但可能导致 SSMs 优先考虑记忆而非上下文学习。这种上下文学习的延迟或阻止会阻碍 SSMs 在需要精确检索的任务上的表现，而这正是 Transformer 目前表现出色的领域。该研究提供了关于 SSMs 训练动态和泛化的理论与实验见解，并为线性时间模型提出了潜在的改进方向。