一篇新论文提出了“安全信息凝聚定律”,认为安全任务的最佳模型规模是有限的,这与通用能力随规模增大而提高不同。该定律表明,模型的认知能力与其在中间表示中保留安全相关信息的能力之间存在权衡。在真实LLM上的实验验证了这一定律,表明安全泛化误差呈U形,并在特定模型规模下最小化,而不是随着模型增大而无限减小。 AI
影响 表明更大的LLM不一定总是更适合安全任务,暗示需要为特定应用优化模型规模。
排序理由 学术论文,提出一项新的LLM安全理论定律。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Condensing Law of Security Information
- Fano
- K(W)
- Nathalie Tzourio-Mazoyer
- R(W)
- zero-day attacks
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →