StarCoderBase-3B

Snowflake 的 Arctic-SnowCoder 模型优先考虑数据质量而非数量

Snowflake AI Research 推出了 Arctic-SnowCoder，一个拥有 13 亿参数的代码模型，它挑战了更大数据集总是更优的观念。通过一种新颖的三阶段预训练课程，该模型优先考虑数据质量而非原始数据量，使用了 5550 亿 token 的精选数据集。这种方法使 Arctic-SnowCoder 能够实现与在数万亿 token 上训练的更大模型相媲美的性能，展示了以数据为中心的策略在 AI 开发中的重要影响。