Ishigaki-IDS-Bench

新基准测试LLM生成BIM行业标准XML的能力

研究人员推出了Ishigaki-IDS-Bench，这是一个新的基准测试，旨在评估大型语言模型（LLM）根据建筑信息模型（BIM）需求生成信息交付规范（IDS）XML的能力。该基准测试包含166个跨越不同建筑领域和语言的专家验证示例，以及用于比较的黄金IDS文件。初步评估显示，虽然LLM可以部分表达信息需求，但它们在持续生成符合IDS标准和IFC词汇约束的XML方面存在困难，表现最好的模型内容一致性仅达到65.6%。