研究人员推出了一款名为SciHazard的新基准,旨在评估大型语言模型(LLMs)在科学领域相关的安全风险。该基准包含12个学科的2400个危险问题和600个过度安全问题,这些问题基于现实世界的危险和已记录的失败场景。SciHazard采用一种名为DeHarm-Score的分解伤害评分方法,该方法评估查询的严重性、拒绝行为以及响应级别的风险,包括可执行性和净新风险。初步评估表明,深度研究代理比标准LLMs带来更大的安全风险,这凸显了当前AI安全防御中的一个关键漏洞。 AI
影响 凸显了自主AI代理中一个关键的安全盲点,可能影响未来的AI安全研究和开发。
排序理由 该集群描述了一篇介绍AI安全新基准和评估框架的学术论文。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- deep research agents
- DeHarm-Score
- Hugging Face
- Large language models
- SciHazard
- alphaXiv
- anonymous.4open.science
- CatalyzeX Code Finder for Papers
- CORE Recommender
- DagsHub
- Executability of the Constitutional Court's formal testing decision: Indonesia's Omnibus Law review
- Gotit.pub
- Influence Flower
- Net-new risk
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →