实体
Louis Béthune
Louis Béthune
PulseAugur coverage of Louis Béthune — every cluster mentioning Louis Béthune across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
苹果研究:双语预训练在超参数调优方面提升LLM性能
来自Apple Machine Learning Research和丹麦技术大学的研究人员发现,将来自高资源语言(如英语)的数据与低资源目标语言(如阿拉伯语)混合,可以显著提高模型性能。这种双语预训练方法被证明比激进的超参数调优更有效,尤其是在模型规模增加的情况下。这项研究涉及了约1000次不同模型规模的预训练运行,表明数据混合在验证损失方面提供了相当于2-3倍的独特目标数据的好处,在下游任务准确性方面则提供了2-13倍的好处。
-
Apple ML Research 扩展流图以实现更快的语言生成
Apple Machine Learning Research 发表了一篇论文,详细介绍了在语言建模中扩展分类流图 (CFM) 的进展。研究团队成功地在 2.1 万亿个 token 上训练了一个 17 亿参数的流模型,并将其提炼成一个 CFM,该 CFM 能够在仅 4 个推理步骤内生成多样化的高质量文本。这种方法保持了接近数据级别的 token 熵,并有望用于离散数据生成,解决了先前在可扩展性方面存在的局限性。
-
新研究质疑AI数据过滤方法的有效性
一篇新论文分析了分类器式质量过滤(CQF)——一种用于清洗预训练AI模型所用大型数据集的常用方法。研究人员Louis Béthune及其同事发现,虽然CQF能提高下游任务的性能,但它并不一定能增强高质量数据上的语言建模能力。他们的研究表明,CQF可能会隐式地过滤掉有价值的高质量数据,并对它能有效捕捉数据质量的说法提出了质疑。