Shuguang Han

Qwen3-0.6B 模型通过数据整理和模型融合在 MS MARCO 排行榜上达到 SOTA

研究人员已经证明，轻量级的 Qwen3-0.6B 模型可以通过以数据为中心的策略而非架构更改，在 MS MARCO 基准测试中实现具有竞争力的段落排名性能。其成功的关键在于语料库定向预训练、严格的数据整理、硬负例挖掘以及训练-推理分布对齐等技术。该研究特别强调了“模型融合”（一种权重合并技术）在显著提升性能的同时保持推理效率方面的有效性。