BoardSafety

新基准评估 LLM 在开发板操作中的安全性

研究人员推出了 BoardSafety Benchmark，这是一个旨在评估大型语言模型 (LLM) 在确定拟议操作是否对特定开发板安全方面的能力的新数据集。该基准由制造商数据表和硬件指南构建，转换为特定于开发板的安全规则库和标记的操作场景。初步评估表明，虽然提供安全规则通常可以提高 LLM 的准确性，但当前模型在可靠评估操作安全性方面仍存在困难，这表明该领域需要进一步研究。