pycomplete

代码补全工具的幽灵文本功能因自预测差距而评估失败

一位开发者创建了一个名为 pycomplete 的代码补全工具，该工具结合了 transformer 模型、n-gram 模型和缓存。虽然该工具的下一个 token 预测准确率为 54.6%，但其生成“幽灵文本”（多 token 续写）的性能却显著下降至 7%，即十四次尝试中只有一次正确补全。这种差异的出现是因为评估指标是基于人类编写的代码进行训练的，而幽灵文本功能依赖于模型预测其自身生成的输出，这导致在评估这种不同分布时出现性能断崖。