Harmful Memorization Index

新指标评估大型语言模型代码生成中的有害记忆

研究人员开发了一种名为有害记忆指数（HMI）的新指标，用于评估大型语言模型（LLM）在代码生成方面的表现，特别关注有害记忆而非良性代码重用。HMI评估模型在任务语义改变时生成与原始解决方案高度相似代码的倾向，从而导致性能下降。在MBPP+和BigCodeBench数据集上的实验表明，模型规模与HMI不一定相关，监督微调会增加HMI，而近端策略优化提供了更好的准确性-HMI权衡。