Xinran Zheng

新框架 MalEval 评估大型语言模型在恶意软件审计方面的能力

一项新的研究论文介绍了一个名为 MalEval 的框架，该框架旨在评估大型语言模型（LLMs）在审计恶意软件行为方面的能力。该框架解决了诸如缺乏人类编写的真实情况、上下文窗口限制以及难以根据代码证据验证 LLM 生成的声明等挑战。MalEval 使用专家编写的审计报告和面向上下文的中间表示，以实现对 LLM 输出的分阶段验证，揭示了当前模型通常依赖于表面线索而非可验证的证据。