Skyler Seto
PulseAugur coverage of Skyler Seto — every cluster mentioning Skyler Seto across labs, papers, and developer communities, ranked by signal.
-
苹果研究:双语预训练在超参数调优方面提升LLM性能
来自Apple Machine Learning Research和丹麦技术大学的研究人员发现,将来自高资源语言(如英语)的数据与低资源目标语言(如阿拉伯语)混合,可以显著提高模型性能。这种双语预训练方法被证明比激进的超参数调优更有效,尤其是在模型规模增加的情况下。这项研究涉及了约1000次不同模型规模的预训练运行,表明数据混合在验证损失方面提供了相当于2-3倍的独特目标数据的好处,在下游任务准确性方面则提供了2-13倍的好处。
-
Apple 研究人员发布 LLM 预训练数据混合缩放定律
Apple Machine Learning Research 发布了关于优化语言模型预训练数据混合的研究成果,特别是在处理有限目标数据的情况下。他们进行了超过 2000 次训练的广泛研究,发现将稀缺的目标数据重复 15-20 次比之前认为的更有效,尤其是在与丰富的通用数据结合时。该研究引入了一个新的缩放定律,该定律考虑了重复标记的价值递减和通用数据的正则化效应,为在约束条件下配置数据混合提供了一种原则性的方法。
-
苹果研究人员提出LINK以实现高效多语言AI模型训练
苹果机器学习研究院(Apple Machine Learning Research)推出了一种名为LINK的新方法,旨在改进多语言语言模型中的跨语言知识迁移,尤其是在训练数据有限的语言方面。该技术涉及词汇干预,即使用双语词汇将高资源语言(英语)训练数据中的单词替换为其翻译。这种方法无需额外的模型训练,只需一个易于获取的双语词汇表,即可在不同模型大小和语言的下游任务上以同等性能实现训练时间的显著加速。