一位开发者创建了一个名为 pycomplete 的代码补全工具，该工具结合了 transformer 模型、n-gram 模型和缓存。虽然该工具的下一个 token 预测准确率为 54.6%，但其生成“幽灵文本”（多 token 续写）的性能却显著下降至 7%，即十四次尝试中只有一次正确补全。这种差异的出现是因为评估指标是基于人类编写的代码进行训练的，而幽灵文本功能依赖于模型预测其自身生成的输出，这导致在评估这种不同分布时出现性能断崖。 AI
影响 凸显了评估 AI 代码生成模型的一个关键差距，表明当前指标可能无法捕捉到幽灵文本补全等功能的实际性能。
排序理由 该条目描述了一个特定的软件工具及其性能评估，而非普遍的行业趋势或发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
