PolyHuman

研究发现：大型语言模型无法可靠检测跨语言代码等价性

一项新近发表在arXiv上的研究评估了大型语言模型（LLMs）在判断不同编程语言编写的程序之间功能等价性的能力。该研究引入了一个名为PolyHuman的数据集，其中包含用C++、Java和Python编写的人类代码，用于测试LLMs超越表面相似性的语义理解能力。研究结果表明，当前的LLMs在此任务上表现不佳，其判断能力随着问题难度的增加而下降，并且在某些情况下表现出不稳定性或特定语言的偏见。