Emmanuel Abbe
PulseAugur coverage of Emmanuel Abbe — every cluster mentioning Emmanuel Abbe across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Apple 研究人员发布用于高效长上下文检索的加权状态融合
Apple Machine Learning Research 推出了一种名为加权状态融合 (Weighted State Souping) 的新方法，以提高状态空间模型 (SSM) 在长上下文检索方面的效率。该技术解决了现有 SSM 和状态融合方法在处理长而复杂上下文时遇到的局限性。通过学习查询相关的权重来组合缓存状态，加权状态融合显著提高了文档问答、检索、变量跟踪和工具使用等任务的性能。一种高效的稀疏变体在不牺牲性能的情况下进一步…
-
苹果研究揭示门控机制阻碍状态空间模型的上下文学习
Apple Inc. 的研究人员发表了一篇论文，探讨了门控机制在状态空间模型（SSMs）中的作用。他们的发现表明，这种机制虽然有利于泛化到长序列，但可能导致 SSMs 优先考虑记忆而非上下文学习。这种上下文学习的延迟或阻止会阻碍 SSMs 在需要精确检索的任务上的表现，而这正是 Transformer 目前表现出色的领域。该研究提供了关于 SSMs 训练动态和泛化的理论与实验见解，并为线性时间模型提出了潜在的改进方向。
-
苹果研究：复杂的约束对自主机器学习代理几乎没有优势
来自苹果机器学习研究和EPFL的一篇新研究论文表明，强大的编码代理周围的“约束”或脚手架的复杂性，对于自主机器学习工程（MLE）来说，收益递减。研究发现，在相同的时间预算和底层大型语言模型（LLM）支持下，一个具有最小约束的编码代理的表现与最先进的、复杂的系统相当。这表明LLM本身是性能的主要驱动因素，而对于当前的MLE基准测试而言，大量的机器层变得多余。