实体 IFC-MCQ

IFC-MCQ

PulseAugur coverage of IFC-MCQ — every cluster mentioning IFC-MCQ across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_317249 · Oct 23 · 04:00

新基准工具可自动评估用于建筑数据检索的 LLM 代理

研究人员开发了 IFC-MCQ，这是一种自动生成多项选择基准的方法，用于评估从行业基础类 (IFC) 文件中检索数据的大型语言模型 (LLM) 代理。该方法通过创建具有精确选项集评分的基准，解决了昂贵的人工或基于 LLM 的自由文本答案审查的挑战。该系统将数据分为 15 个类别和 36 个子类型，从 IFC 文件中提取答案键，并使用预定义的规则或文件派生的值构建干扰项。使用 IFC-MCQ 的评估揭示了特定类别的故障模式以及基于 IF…