一篇新发表在arXiv上的研究论文探讨了基准和评估协议的选择如何显著影响关于基于来源的入侵检测系统（PIDS）的结论。该研究使用统一的协议在DARPA TC E3数据集上重新评估了几个PIDS，结果显示警报成功率可能与调查效用不同，一些系统未能为法证分析提供足够的上下文。研究还发现，简单的允许列表的性能通常与更复杂的学习基线相当甚至更高，这表明许多报告的PIDS成功可能归因于词汇新颖性而非高级建模。该论文强调，PIDS架构的声明应结合所使用的特定基准属性和评估方法来解读。 AI
影响 强调了在AI安全系统中建立严格评估标准的必要性，以确保可靠的性能声明。
排序理由 学术论文，分析AI系统的评估方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
