PulseAugur
实时 08:45:31
English(EN) Benchmarking API Drift in LLM-Generated Quantum Code Across Successive SDK Versions

新的基准测试评估LLM在量子代码版本兼容性

一项名为quantum-api-drift的新基准测试已被开发出来,用于评估大型语言模型生成与特定软件开发工具包(SDK)版本兼容的量子代码的能力。该基准测试使用了Qiskit在v0.43、v1.3和v2.0版本上进行了测试,对17个模型进行了50项任务的评估。Claude Opus 4.7在v0.43和v2.0上表现最佳,而Grok 4.20在v1.3上表现出色。研究发现,尽管文档指导的修复有所帮助,但API漂移仍然是LLM生成的量子代码中的一个重大挑战。 AI

影响 强调了LLM在代码生成中保持版本保真度的必要性,影响未来的开发工具。

排序理由 学术论文,介绍了一个用于LLM生成代码的新基准测试。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的基准测试评估LLM在量子代码版本兼容性

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Mohammad Arif Rasyidi, Syahirul Faiz ·

    Benchmarking API Drift in LLM-Generated Quantum Code Across Successive SDK Versions

    arXiv:2607.04072v1 Announce Type: cross Abstract: Large language models can generate plausible quantum code, but it is unclear whether they can reliably target the specific software development kit (SDK) version requested by the user. We study this problem as API drift and introd…