Marco Cuturi
PulseAugur coverage of Marco Cuturi — every cluster mentioning Marco Cuturi across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Apple研究人员发布更快的最优传输方法
Apple Machine Learning Research 发表了一篇论文，详细介绍了一种用于基于核的最优传输的新型半光滑牛顿法。该方法旨在克服现有估计器的计算限制，这些限制在样本量较大时会变得难以处理。所提出的方法在合成和真实数据集上都比以前的方法有显著的加速，实现了 O(1/√k) 的全局收敛率和局部二次收敛。
-
Apple ML Research 扩展流图以实现更快的语言生成
Apple Machine Learning Research 发表了一篇论文，详细介绍了在语言建模中扩展分类流图 (CFM) 的进展。研究团队成功地在 2.1 万亿个 token 上训练了一个 17 亿参数的流模型，并将其提炼成一个 CFM，该 CFM 能够在仅 4 个推理步骤内生成多样化的高质量文本。这种方法保持了接近数据级别的 token 熵，并有望用于离散数据生成，解决了先前在可扩展性方面存在的局限性。
-
苹果发布DLR-Lock以保护大语言模型权重免遭未经授权的使用
苹果机器学习研究部门推出了一种名为DLR-Lock的新方法，用于保护预训练语言模型的权重免遭未经授权的修改。该技术通过用深度低秩残差网络（DLR-Net）替换每个多层感知器（MLP），增加了反向传播时的内存需求。DLR-Lock旨在使微调优化复杂化并增加反向传播开销，从而抵御自适应攻击者，同时保留模型的原始能力，这一点已通过在大语言模型上的实验得到验证。
-
Apple ML Research 提出使用神经网络的摊销 MIPS
Apple Machine Learning Research 提出了一种新的最大内积搜索（MIPS）方法，称为摊销 MIPS。该方法利用神经网络，特别是 SupportNet 和 KeyNet，直接预测 MIPS 解决方案，从而降低了从固定键数据库中已知分布提取的查询的计算成本。在 BEIR 基准测试上的实验表明，在考虑计算工作量的情况下，这些学习模型可以显著提高 IVF 匹配率。
-
苹果研究人员通过新的解码技术推进扩散语言模型
苹果的机器学习研究部门发表了几篇论文，详细介绍了扩散语言模型（dLLMs）的进展。与自回归模型相比，这些模型通过并行解码多个 token，有可能实现更快的推理。研究包括探索用于口语模型的连续扩散、通过残差上下文扩散（RCD）提高 dLLM 的效率，以及使用强化学习训练解遮蔽策略。其他工作则侧重于通过专家产品（PoE）等技术弥合扩散模型和自回归模型之间的差距，并开发统一不同解码策略的混合模型。
-
苹果研究人员提出缓存共享以降低 LLM 服务成本
Apple Machine Learning Research 发布了一篇论文，详细介绍了一种名为 Stochastic KV Routing 的新方法，以减小 transformer 语言模型的内存占用。该技术侧重于优化 KV 缓存的深度维度，而不是仅仅进行时间压缩或淘汰。通过训练层随机关注先前层的 KV 状态，模型能够适应各种缓存共享策略而不会丢失信息，有可能在显著降低内存使用量的同时保持或提高性能。