一个名为漏洞解释推理审计器(Vulnerability Explanation Reasoning Auditor, VERA)的新框架已被开发出来,以解决大型语言模型(LLMs)在软件漏洞分析中提供看似合理但存在缺陷的推理问题。目前使用思维链(Chain-of-Thought)提示的方法常常导致LLMs捏造或掩盖逻辑错误。VERA引入了结构化推理记录(Structured Reasoning Record, SRR),要求LLMs输出机器可读的数据,包括跟踪的指针、内存操作和状态转换。这种结构化方法允许针对八种推理失败模式进行确定性审计,暴露出的错误比传统的LLM作为法官的评估方法多得多。 AI
影响 该框架可以通过确保LLMs在安全分析中的推理是可验证的,而不仅仅是看似合理,从而提高其可靠性。
排序理由 该条目描述了一个用于审计LLM推理的新框架和方法论,发表在一篇研究论文中。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- Chain-of-Thought
- Hugging Face
- large-language models
- SRR
- Structured Reasoning Record
- VERA
- Vulnerability Explanation Reasoning Auditor
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →