3D-DefectBench

新基准 3D-DefectBench 评估用于 3D 生成的视觉语言模型

研究人员推出了 3D-DefectBench，这是一个旨在系统评估用于 3D 生成模型中自动化缺陷检测的流水线的新框架。该基准分析了视觉语言模型 (VLM)、资产渲染、提供的视觉证据、任务规范和人工标签构建等因素如何影响评估的可靠性。研究结果表明，虽然 VLM 的选择是最重要的因素，但流水线的其他要素也会影响性能并与模型选择相互作用，这表明自动化裁判应被评估为完整的系统而非独立的模型。