PulseAugur
实时 04:57:47
English(EN) Teaching a Reranker the Language of Security Tickets (+41% MRR@10)

安全团队使用工单数据微调Reranker,提升RAG效果

一个安全运营团队通过使用现有的工单数据微调Reranker模型,增强了其RAG(检索增强生成)流程。这种方法利用了分析师在结案笔记中隐含的相关性判断,在不改变模型架构或嵌入模型的情况下,使平均倒数排名(MRR)提高了41%。该团队发现,通过分析分析师如何引用之前的工单,他们可以为Reranker生成有价值的训练数据,从而提高其将LLM(大语言模型)的答案与相关历史安全工单关联起来的能力。 AI

影响 展示了一种通过利用现有数据中的隐含用户反馈来改进RAG系统的成本效益方法,可能减少对昂贵显式标注的依赖。

排序理由 文章详细介绍了通过新颖的数据源方法进行微调,对AI系统(RAG流程Reranker)进行的具体技术改进,这类似于应用AI领域的研究里程碑。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · Vinay ·

    教会Reranker理解安全工单语言(+41% MRR@10)

    <h2> TL;DR </h2> <p>Our SOC's RAG pipeline retrieves over 142,000 closed XSOAR security tickets to ground<br /> investigation answers. After exhausting the easy wins — chunking, top-k, reranker<br /> choice — we still saw the right historical ticket land at rank 5-10 too often, a…