一篇新发表在arXiv上的研究论文强调了加密流量分类模型评估协议中的重大缺陷。研究表明,在标准的文献协议下,同一模型可以达到近乎完美的准确率(0.992 macro-F1),但当使用一个将同一捕获数据分开的协议时,其性能会骤降至0.567。这种差异归因于数据拆分轴的选择(随机、时间、客户端不相交、服务器不相交或会话不相交),可能导致性能指标虚高,无法反映实际应用中的表现。研究人员提出了一种使用单标识符探测的诊断方法,在训练前识别正确的拆分轴,旨在提供更可靠的评估。 AI
影响 强调了流量分类模型性能可能被高估,敦促采用更稳健的评估方法。
排序理由 该集群包含一篇讨论AI模型评估方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Holm-Bonferroni
- Hugging Face
- IArxiv
- Influence Flower
- QUIC
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →