Anastasiia Sedova
PulseAugur coverage of Anastasiia Sedova — every cluster mentioning Anastasiia Sedova across labs, papers, and developer communities, ranked by signal.
-
Apple 研究人员发布 LLM 预训练数据混合缩放定律
Apple Machine Learning Research 发布了关于优化语言模型预训练数据混合的研究成果，特别是在处理有限目标数据的情况下。他们进行了超过 2000 次训练的广泛研究，发现将稀缺的目标数据重复 15-20 次比之前认为的更有效，尤其是在与丰富的通用数据结合时。该研究引入了一个新的缩放定律，该定律考虑了重复标记的价值递减和通用数据的正则化效应，为在约束条件下配置数据混合提供了一种原则性的方法。
-
苹果研究人员提出LINK以实现高效多语言AI模型训练
苹果机器学习研究院（Apple Machine Learning Research）推出了一种名为LINK的新方法，旨在改进多语言语言模型中的跨语言知识迁移，尤其是在训练数据有限的语言方面。该技术涉及词汇干预，即使用双语词汇将高资源语言（英语）训练数据中的单词替换为其翻译。这种方法无需额外的模型训练，只需一个易于获取的双语词汇表，即可在不同模型大小和语言的下游任务上以同等性能实现训练时间的显著加速。
-
New LINK method boosts multilingual model training with lexical swaps
研究人员开发了一种新颖的数据级干预方法，称为LINK，以增强多语言语言模型中的跨语言知识转移，特别是对于训练数据有限的语言。该技术涉及使用双语词汇将高资源语言（例如英语）训练语料库中的单词替换为其翻译。该方法不需要额外的模型训练或平行数据，从而显著降低了提高低资源语言下游任务性能的成本和复杂性。在八种语言和五种模型规模上的评估表明，在实现同等性能的情况下，性能有了显著提高，训练速度最高可提高一倍。