研究人员开发了 IFC-MCQ，这是一种自动生成多项选择基准的方法，用于评估从行业基础类 (IFC) 文件中检索数据的大型语言模型 (LLM) 代理。该方法通过创建具有精确选项集评分的基准，解决了昂贵的人工或基于 LLM 的自由文本答案审查的挑战。该系统将数据分为 15 个类别和 36 个子类型，从 IFC 文件中提取答案键，并使用预定义的规则或文件派生的值构建干扰项。使用 IFC-MCQ 的评估揭示了特定类别的故障模式以及基于 IFC 模型和检索界面的性能差异，最终实现了 AEC 工作流程中基于 LLM 的 IFC 检索的可扩展基准测试。 AI
影响 能够更有效、更可扩展地评估 AEC 行业中用于数据检索的 LLM 代理。
排序理由 该集群描述了一种用于评估 LLM 代理在特定数据检索任务上的新方法和基准，该方法发表在 arXiv 论文中。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
