FreeCAD Fix

新的 FreeCAD Fix 基准测试使用确定性评分进行 LLM 评估

FreeCAD Fix 基准测试通过采用确定性几何预言机而非 LLM 裁判，为 LLM 提供了更严格的评估。这种方法确保模型性能通过修复后的 FreeCAD 脚本的实际输出来衡量，而不是主观评估。该基准测试将分数细分为七个特定标准，例如脚本有效性和几何有效性，并提供每个模型响应的公开记录，以实现透明度和可审计性。这种方法使从业者在选择需要可验证输出的任务（如代码生成或 CAD 修复）的模型时能够做出更明智的决定。