pycryptodome

新的CryptoBench数据集测试LLM代码审查中的加密滥用

一个名为CryptoBench的新数据集已被开发出来，用于评估大型语言模型（LLMs）检测代码中加密API滥用的能力。该数据集包含54个Python代码片段，包括易受攻击和安全的示例，并按常见的弱点枚举进行分类。对七个开源模型的初步测试显示，虽然一些模型检测率很高，但许多模型也会错误地将安全代码标记为易受攻击，这表明其区分能力不足。该数据集及相关的分析脚本已公开提供，以供进一步测试和研究。