SimonsAlgorithm

新基准评估 LLM 在量子计算任务上的表现

研究人员已将 Microsoft 的量子计算课程 QuantumKatas 改编到广泛使用的 Qiskit 框架中，创建了一个用于评估大型语言模型 (LLM) 的新基准。该基准包含 350 个任务，涵盖 26 个类别，从基本门到高级算法和纠错。对 16 个 LLM 的初步评估显示了能力上的显著差异，前沿模型和开源模型之间存在明显差距，并突出了模型擅长的领域（如实现已知算法）和挣扎的领域（如问题编码）。