code generation models

新基准揭示AI代码生成器缺乏人类算法多样性

一项名为DivAlgo的新基准已被开发出来，用于评估代码生成大语言模型的算法多样性。使用该基准进行的实验显示，当前代码生成模型生成的代码比人类编写的解决方案在多样性上显著不足，仅捕捉到人类多样性的约31%。即使采用高级策略，最佳模型也只能达到人类多样性的约70%，这表明它们在复制人类创造力方面存在局限性，并且如果程序员过度接触模型生成的代码，可能会缩小他们的算法词汇量。