Hongyi Lin

研究发现数据污染对代码智能模型有细微影响

一项发表在arXiv上的新研究调查了数据污染对代码智能模型的影响，特别考察了不同类型的数据污染如何影响性能评估。该研究在Java和Python的 कोड 翻译、生成和摘要任务中测试了RoBERTa、GPT-2、LLaMA和StarCoder等多种模型。研究结果表明，虽然配对污染在预训练/微调范式中不会显著高估性能，但它确实会影响LLM在直接推理或小规模微调期间的表现。