PulseAugur
实时 10:09:14
English(EN) A Framework for Using and Evaluating LLMs as Surrogate Experts in Security Surveys: Reliability, Bias, and Implications

新框架评估大型语言模型在安全调查中作为代理专家的作用

一项新框架已被开发出来,用于评估在安全研究调查中使用大型语言模型(LLMs)作为代理专家的可靠性和偏差。研究发现,虽然大型语言模型可以产生内部一致的答案,但与人类专家相比,它们往往表现出较低的方差和同质化的观点。研究表明,大型语言模型在初步探索和假设生成方面很有价值,但不应取代安全运营中心中直接的专家征询。 AI

影响 为在调查中使用大型语言模型的研究人员提供了方法学指导,强调了其局限性和适当的使用场景。

排序理由 该集群包含一篇详细介绍新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新框架评估大型语言模型在安全调查中作为代理专家的作用

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Despoina Giarimpampa, Roland Meier, Tegawend\'e F. Bissyand\'e, Vincent Lenders, Jacques Klein ·

    一种将大型语言模型用作安全调查中代理专家的框架:可靠性、偏见和影响

    arXiv:2608.16893v1 Announce Type: cross Abstract: Expert surveys are widely used in security research to study practitioner workows and decision-making, yet recruiting domain experts - especially in Security Operations Centres (SOCs), where analysts face high workload, burnout an…