Kimon Antonios Provatas

对非生成式AI模型进行生物安全风险审计

一篇新的arXiv论文研究了非生成式“System-1”模型在生物安全任务中的可靠性。该研究使用来自大规模杀伤性武器代理（WMDP）和LAB-Bench数据集的超过6000个多项选择题，审计了一个商业System-1模型。虽然准确性因任务而异，但当其不确定性字段被正确解释时，该模型表现出合理的校准和错误检测能力。然而，研究还发现，该模型对答案选项的顺序非常敏感，尤其是在网络安全相关的项目上，这表明跨不同选项顺序平均概率可以提高性能。