一项名为quantum-api-drift的新基准测试已被开发出来,用于评估大型语言模型生成与特定软件开发工具包(SDK)版本兼容的量子代码的能力。该基准测试使用了Qiskit在v0.43、v1.3和v2.0版本上进行了测试,对17个模型进行了50项任务的评估。Claude Opus 4.7在v0.43和v2.0上表现最佳,而Grok 4.20在v1.3上表现出色。研究发现,尽管文档指导的修复有所帮助,但API漂移仍然是LLM生成的量子代码中的一个重大挑战。 AI
影响 强调了LLM在代码生成中保持版本保真度的必要性,影响未来的开发工具。
排序理由 学术论文,介绍了一个用于LLM生成代码的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →