一项新近发表在 arXiv 上的研究,比较了微调后的开源大语言模型(LLMs)与 TF-IDF 和 CodeBERT 等传统方法在 Eclipse 报告的 Bug 严重性分类方面的有效性。研究发现,虽然微调后的 Llama 3 8B 和 Qwen 2.5 7B 等大语言模型取得了比零样本大语言模型和 CodeBERT 更高的宏 F1 分数,但在某些配置下,它们的表现与 TF-IDF 模型相当或略低。研究还强调了这些模型在处理特定 Bug 严重性类别方面的显著差异,微调后的 Llama 3 在识别关键问题方面表现出色,但在处理次要问题方面遇到困难,而 Qwen 2.5 则呈现出相反的模式。 AI
影响 微调后的开源大语言模型在 Bug 严重性分类等专业任务方面展现出潜力,但如果没有进一步优化,它们可能无法持续超越传统方法。
排序理由 比较大语言模型在特定任务上性能的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Bugzilla
- CodeBERT
- CyberTriage
- Eclipse Foundation
- Hugging Face
- Llama 3 8B
- open LLMs
- QLoRA
- Qwen 2.5 7B
- TF-IDF
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →