一篇新研究论文探讨了大型语言模型在软件保障中的有效性,特别是在已有确定性工具可用时。研究发现,增加提供给Qwen2.5-Coder-7B-Instruct等模型的上下文并未提高不安全代码的清除率,在某些情况下甚至导致了更多未解决的结果。虽然原始验证器反馈提高了正确判决,但也增加了错误判决。研究表明,在测试环境下,确定性证据录入已足够,突显了聚合模型判决和解释反馈的局限性。 AI
影响 这项研究表明,对于某些软件保障任务,仅仅增加LLM上下文可能不会产生更好的结果,这突显了将AI与确定性工具进行更复杂集成的必要性。
排序理由 该集群包含一篇在arXiv上发表的研究论文,详细介绍了LLM在软件保障中性能的实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Defects4J
- Java
- Java virtual machine
- JBMC Software
- OWASP Benchmark
- QASecClaw
- qwen2.5 coder 7b instruct
- SV-COMP
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →