MinHash LSH

ML数据污染使Qwen3-8B模型性能虚增9个点

Nexus Labs的一个机器学习团队发现，他们微调的Qwen3-8B模型性能显著提升是由于数据污染造成的。该模型在票务路由任务上达到了80.4%的准确率，远高于基础模型的71.2%，但这种提升是虚假的。在使用MinHash LSH检测训练集和评估集之间的近乎重复条目后，他们发现大约6%的评估数据无意中被包含在了训练集中。在移除这些受污染的样本后，模型的真实准确率接近72%，表明微调过程的实际改进微乎其微。