CircuitReason-1k

新基准CircuitReason-1k测试AI在电路中的视觉到符号推理能力

研究人员推出CircuitReason-1k，这是一个新的基准测试，旨在评估AI模型在分析电子电路时进行长视域视觉到符号推理的能力。该基准测试包含1000个教科书问题，每个问题都包括电路图、问题、答案和详细的解题过程。虽然表现最佳的模型达到了84.8%的准确率，但在更复杂、长视域的问题上，性能显著下降，凸显了在拓扑绑定、物理约定遵循和输出传播方面持续存在的挑战。