CodeInsight

新数据集模拟学生代码提交的迭代问题解决过程

研究人员开发了CodeInsight，这是一个包含来自3,286名初级C++课程学生超过300万次提交的新数据集。该数据集旨在通过跟踪学生的尝试、反馈和代码修订来模拟迭代问题解决过程。利用这些数据创建了一个基准，评估了包括循环状态空间模型（RSSM）和大型语言模型（LLM）在内的各种模型。改编后的RSSM表现出更高的预测准确性，而LLM虽然准确性较低，但提供了用于分析的显式解决方案。