Pierre Ablin
PulseAugur coverage of Pierre Ablin — every cluster mentioning Pierre Ablin across labs, papers, and developer communities, ranked by signal.
-
Apple 研究人员发布 LLM 预训练数据混合缩放定律
Apple Machine Learning Research 发布了关于优化语言模型预训练数据混合的研究成果，特别是在处理有限目标数据的情况下。他们进行了超过 2000 次训练的广泛研究，发现将稀缺的目标数据重复 15-20 次比之前认为的更有效，尤其是在与丰富的通用数据结合时。该研究引入了一个新的缩放定律，该定律考虑了重复标记的价值递减和通用数据的正则化效应，为在约束条件下配置数据混合提供了一种原则性的方法。
-
Apple ML Research 发布 MVICAD2 用于多视图数据分析
Apple Machine Learning Research 推出了 MVICAD2，一种分析多视图数据的新颖方法，尤其是在神经科学领域。该技术通过考虑不同被试信号中的时间延迟和膨胀来扩展现有模型，这对于理解脑磁图中的大脑活动动态至关重要。在模拟中，MVICAD2 表现出优于现有多视图独立成分分析方法的性能，并已使用 Cam-CAN 数据集进行了验证，以显示其与衰老的关系。
-
Apple ML Research 扩展流图以实现更快的语言生成
Apple Machine Learning Research 发表了一篇论文，详细介绍了在语言建模中扩展分类流图 (CFM) 的进展。研究团队成功地在 2.1 万亿个 token 上训练了一个 17 亿参数的流模型，并将其提炼成一个 CFM，该 CFM 能够在仅 4 个推理步骤内生成多样化的高质量文本。这种方法保持了接近数据级别的 token 熵，并有望用于离散数据生成，解决了先前在可扩展性方面存在的局限性。
-
苹果发布DLR-Lock以保护大语言模型权重免遭未经授权的使用
苹果机器学习研究部门推出了一种名为DLR-Lock的新方法，用于保护预训练语言模型的权重免遭未经授权的修改。该技术通过用深度低秩残差网络（DLR-Net）替换每个多层感知器（MLP），增加了反向传播时的内存需求。DLR-Lock旨在使微调优化复杂化并增加反向传播开销，从而抵御自适应攻击者，同时保留模型的原始能力，这一点已通过在大语言模型上的实验得到验证。