KOR-Bench

研究发现：LLM中期训练数据构成影响对齐效果

一项新的研究论文探讨了大型语言模型中期训练阶段的最佳数据构成，发现所有领域的中等比例数据（10%-40%）效果最好。该研究使用了Qwen3-8B-Base模型和KOR-Bench数据集，并揭示了即使在随后的对齐阶段，这些特定领域的性能差距依然存在。此外，研究表明，在中期训练中完全省略某个领域会导致准确率下降，尽管这种影响与模型整体漂移部分混合在一起。